评测与安全工具
eval-floor：检测 LLM 评测任务中零信息答案的得分基线
ebt55/evalfloor · What a benchmark scores with nothing in it: content-free answers against each task's own majority baseline, plus a judged arm. Preregistered. Closed: 45 tasks on inspect_evals 0.24.0, 1 beats its baseline outright (bbh, a task property).
ELI5：它是什么，解决什么问题
eval-floor 是一个评测完整性检验工具：它不调用任何模型，而是用一组不含题目信息的内容（空字符串、拒答、拼接所有标签、回显问题等）驱动 Inspect Evals 各任务的真实评分器和数据集，测量“无内容答案”能拿到多高分数，并与多数类基线对比。项目在 inspect_evals 0.24.0 上对 45 个可计数任务做了预先注册的确定性扫描，结果是 34 个健康、10 个因构造方式而天然并列、1 个因任务本身特性（bbh）被标记、0 个因评分器缺陷被标记；另有一个由模型判分的分支，对 7 个任务中的 3 个在 Wilson 95% 下界上标记，并给出判分模型不一致率作为对照。
核心能力与快速开始
★ 0 · Python
- 能做什么
- 用空内容答案（空串、空白、拒答、全标签、回显、模板化文本等）驱动 Inspect Evals 任务的真实评分器与数据集，统计零信息得分并与多数类基线比较；按预先注册的规则标记异常任务；提供确定性复现（两次独立进程摘要一致）；另设模型判分分支，用 Wilson 95% 下界与判分器不一致率做控制。
- 适用场景
- 适合评测基准维护者或研究者排查评分器是否会给无信息答案不当得分，对 Inspect Evals 中的任务做批量基线审计，也可作为评测基准质量检查的参考，例如发现 paws 或 boolq 这类评分缺陷并跟踪上游修复。
- 项目形态
- 可直接使用的工具
- 部署方式
- 未说明；材料只说明扫描在 inspect_evals 0.24.0 上运行，未给出安装或部署方式
- 主要依赖
- 未说明；需要 Inspect Evals 及其对应任务依赖，部分任务需沙箱、可选依赖、网络或带门槛的数据集，这些任务未被纳入扫描
- 使用限制
- 只能得出材料中已报告的范围的结论，例如 45 个可计数任务和 7 个模型判分任务，237 个声明任务中有大量因沙箱、依赖、判分模型、网络、数据集门槛或体积过大而不可达；模型判分分支的成本、判分模型可用性和判分噪声限制都未说明；未验证实际安装或运行
- 许可证
- MIT
- 最近推送
- 2026-10-18 08:45
资料检查：2026-10-19 07:00 · 卡片整理：2026-10-19 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证
职业应用
程序员
在开发或审查 LLM 评测代码时，用该工具以空字符串、拒答、拼接所有标签、回显问题等无信息答案驱动 Inspect Evals 任务的真实评分器和数据集，测量无内容答案能拿到多高分数并与多数类基线对比，从而发现评分器缺陷（如 paws 的 includes() 问题）并验证修复。
查看内容依据
eval-floor 是一个评测完整性检验工具：它不调用任何模型，而是用一组不含题目信息的内容（空字符串、拒答、拼接所有标签、回显问题等）驱动 Inspect Evals 各任务的真实评分器和数据集，测量“无内容答案”能拿到多高分数，并与多数类基线对比。
由 AI 根据来源材料整理，未进行安装或运行验证
讨论 0
登录后参与讨论，阅读资讯无需注册。
还没有评论，来分享第一个看法。