评测与安全AI 资源

Judge Enumeration Exhibit：预注册的概率化评判器稳定性与判别力实验展示

clouatre-labs/judge-enumeration-exhibit · Pre-registered typed probabilistic judge exhibit: stability (v1) and discrimination (v2) phases on frozen LP menus; sealed analysis, reproducible

GitHub原文发布未知首次收录 2026-11-08上架 2026-11-08 07:03

☆ 收藏查看项目 ↗

ELI5：它是什么，解决什么问题

该项目是一个预注册的 LLM 评判实验展示，包含两个阶段：v1.0.0 稳定性阶段在 60 次调用中考察同一状态下的运行间稳定性；v2.0.0 判别力阶段在 120 道冻结的 3 变量整数线性规划题上进行两次评测，并运行 240 次调用，要求评判器从近优选项和不可行选项等 5 个选项中选出最优解。仓库提供种子生成器、冻结题库、原始请求与响应记录、用精确分数算术进行封闭分析、分层校准的事后补充分析、图表脚本和复现命令，并以 Apache-2.0 许可公开全部数据。

# LLM 评测 # 可复现研究 # 置信度校准 # 评判模型 # 预注册

核心能力与快速开始

★ 0 · Python

能做什么: 在冻结的 3 变量整数线性规划菜单上，用类型化概率评判器执行两轮共 240 次调用，测试它能否区分最优、近优与不可行诱饵选项，以及重复调用之间是否稳定；提供预注册文档、按相对最优差距分层的冻结题库、分析用 oracle、原始调用记录、封闭分析脚本（用精确分数算术计算预设指标）、事后分层校准脚本和 matplotlib 图表脚本。
适用场景: 适合研究 LLM 作为评判器的稳定性与判别力、复现预注册式评测流程、检查评判器置信度校准与位置偏差，以及作为可复现评测数据集与方法示例的参考。
项目形态: 研究实现
部署方式: 未说明
主要依赖: 未说明；材料仅列出运行/分析所用软件版本：判定模型 jev-1.13.0、Python 3.14.8（分析）与 3.15.0（uv 渲染图表）、matplotlib 3.11.2。
使用限制: 该实验在 120/120 全部答对上出现天花板效应，任务难度不足以区分分层，Fisher 精确检验 p=1.0 为天花板假象；分层校准梯度为事后分析、非预注册；结果针对特定判定模型 jev-1.13.0 与冻结题库，材料未说明其他模型或任务上的表现。
许可证: Apache-2.0
最近推送: 2026-11-07 08:41

项目文档核对 README 依据 ↗

资料检查：2026-11-08 07:00 · 卡片整理：2026-11-08 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证

相似资源

llm-author-misattribution：六款前沿大模型作者年龄误判、置信度校准与自我解释行为研究

该仓库是论文《Which Answer Did the Seventeen-Year-Old Write?》的配套数据与代码，研究六款前沿语言模型在作者年龄错配任务中的表现：给定三份同一题目手写回答及三个年龄性别标签，要求模型一一匹配并给出置信度。研究覆盖盲测匹配、机构标签、中性标签、受众意识指令、开放式年龄估计和概率分布等条件，并在部分会话中揭示正确答案以记录模型的自我解释。仓库包含实验运行脚本、统计分析脚本、研究数据、方法与结果文档，可用以复现论文统计量；论文指出该研究为三项文本、单一语言的小样本机制性案例研究，并非人群偏差率估计。

llmopt：面向数学与物理机器学习的 Oracle 验证实验平台

llmopt 是一个数学与物理机器学习实验仓库，强调以符号等价而非字符串匹配校验答案、解码结果需与贪心解码逐 token 一致、生成的汇编需实际运行验证，并将每次实验预先注册可失败的阈值。项目包含符号推导搜索、带符号校验的数学题生成器、MoE 路由分析与专家裁剪、权重量化与整数精确计算、推测解码与缓存等研究与工程组件，并以追加式账本同时记录成功结论、空结果和撤回结论。

complaint-triage-classifier：金融消费者投诉文本分类与低置信度人工复核路由

该项目基于 CFPB 消费者金融投诉数据，对投诉文本进行 10 类产品类别划分。它使用微调后的 DistilBERT 输出类别与置信度，并将低于阈值的样本标记为 needs_human_review 转交人工，同时与 TF-IDF 加逻辑回归基线做对比。仓库报告在未见测试数据上的加权 F1 为 0.867，并说明了对小类别识别偏弱、长文本截断及不适用于真实合规决策等限制。

KOKOCHI UI Agent Readability Lab：用 OpenTelemetry 观测和评估 LLM 对 HTML 结构不同的 Web UI 的解读

该项目是一个实验基座，用于在可复现条件下观察和评估 LLM 如何解读 Web UI 的 HTML 结构；它包含 semantic-first 与 presentation-first 的 Fixture 对比、基于 Ollama 的 LLM 推理、用 control-group-membership F1 评价，以及通过 OpenTelemetry 采集 trace、metrics、logs 并配合 Grafana 进行观测。公开版提供实验定义、代码与复现材料，不包含正式实验的原始 LLM 响应和执行结果。

这是基于来源内容整理的摘要。原文链接失效后，本页摘要和讨论仍会保留。