errorbars：为 LLM 评测结果添加误差条与显著性检验的统计工具

antonsoo/errorbars · Error bars for LLM evals: clustered SEs, paired comparisons, leaderboards, and power analysis. Python + web calculator.

GitHub原文发布未知首次收录 2026-10-19上架 2026-10-19 07:01

☆ 收藏查看项目 ↗

ELI5：它是什么，解决什么问题

errorbars 是一个 Python 包兼网页计算器，用于给 LLM 评测结果补上统计不确定性：提供均值、标准误与置信区间汇总，支持配对比较、聚类稳健标准误、精确 McNemar 检验、带显著秩的排行榜以及功效分析（估计所需题目数或最小可检测效应）。可读取 lm-evaluation-harness 与 Inspect AI 的日志及 CSV/JSONL 长格式数据，基于 arXiv:2411.00640 的统计实践，帮助判断模型间的分数差距是真实提升还是噪声。

# llm-evaluation # lm-evaluation-harness # 评测基准 # 置信区间 # 功效分析

核心能力与快速开始

★ 0 · Python

能做什么: 提供 summarize（均值/SE/95% CI 及 ICC、设计效应等聚类诊断）、compare（配对或聚类 t 检验、二值精确 McNemar、配对方差缩减）、leaderboard（带置信区间和 Holm 校正后精确秩的榜单）与 power（按 α、power、配对相关和聚类设计效应计算所需题目数或最小可检测效应）；另有离线 HTML 问题级对比报告和浏览器端 SWE-bench 配对检验页面。
适用场景: 用于分析 LLM 基准评测中模型分数差异是否显著、为排行榜结果附加误差区间与统计排名、在评测前规划所需题目数量，以及复核 SWE-bench 等公开提交结果的统计可信度。
项目形态: 可直接使用的工具
部署方式: 未说明；提供 PyPI 包、网页计算器与离线 HTML 报告，README 建议以源码修订版安装并使用部分未发布功能。
主要依赖: Python ≥3.10，运行时仅依赖 numpy；pandas、matplotlib 为可选扩展，rich 表格需额外安装 cli 扩展，Inspect 导入需 inspect 扩展。
使用限制: README 指出所述源码修正与对比报告等新增能力尚未进入测试过的 PyPI 0.2.4 版本；部分统计诊断在题目或聚类不足时不可用；对 SWE-bench 的适用性受任务来源集中（12 个仓库、231 个 Django 任务）限制。
许可证: MIT
最近推送: 2026-10-18 09:01

官方入门项目文档核对 README 依据 ↗

资料检查：2026-10-19 07:00 · 卡片整理：2026-10-19 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证

职业应用

程序员

在评估或比较 LLM 模型或代码生成基准的得分时，为准确率结果计算标准误、置信区间和显著性检验，判断模型间的分数差距是真实提升还是噪声；也可读取 lm-evaluation-harness 与 Inspect AI 的日志进行配对比较和排行榜分析。

查看内容依据

errorbars 是一个 Python 包兼网页计算器，用于给 LLM 评测结果补上统计不确定性：提供均值、标准误与置信区间汇总，支持配对比较、聚类稳健标准误、精确 McNemar 检验、带显著秩的排行榜以及功效分析

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证

相似资源

RotomArena：面向语言模型的宝可梦对战评测基准

RotomArena 是一个以宝可梦对战为载体的语言模型基准测试：每个模型先自行组建队伍，再在 Pokémon Showdown 上与其他模型逐回合对战，每回合给出简短思考并选择一个合法行动。项目按版本冻结规则，统一提示词、预算与裁判，基于已记录对局用 Bradley-Terry 模型计算 Elo 风格评分及自助法置信区间，并公布对局回放、模型推理、每局成本与每回合 token 数。参与方包括通过 OpenRouter 或本地 llama.cpp 接入的语言模型、决策模型、基于论文实现的规则版 PokéChamp 以及随机 AI。网站为 Astro 静态站，项目还包含将 Laya 决策模型微调用于组队的流程。

eval-floor：检测 LLM 评测任务中零信息答案的得分基线

eval-floor 是一个评测完整性检验工具：它不调用任何模型，而是用一组不含题目信息的内容（空字符串、拒答、拼接所有标签、回显问题等）驱动 Inspect Evals 各任务的真实评分器和数据集，测量“无内容答案”能拿到多高分数，并与多数类基线对比。项目在 inspect_evals 0.24.0 上对 45 个可计数任务做了预先注册的确定性扫描，结果是 34 个健康、10 个因构造方式而天然并列、1 个因任务本身特性（bbh）被标记、0 个因评分器缺陷被标记；另有一个由模型判分的分支，对 7 个任务中的 3 个在 Wilson 95% 下界上标记，并给出判分模型不一致率作为对照。

MultiLangBench：多语言语言模型 SQLite 实现能力评测基准

MultiLangBench 是 OpenAI 发布的评测项目，要求语言模型依据 SQLite 3.40.1 文档，用指定编程语言实现一个 SQLite 兼容程序，并通过由 TCL 测试转换而来的测试套件进行验证。测试由初始数据库、用户查询和校验查询三部分组成，评分以（API 成本、测试通过率）二元组表示；完整测试共 24k 条，README 建议先运行以 00、01、02 开头的 272 条测试。

AusLawExam-Bench：面向大语言模型的澳大利亚法律推理可复现评测基准

AusLawExam-Bench 是一个面向大语言模型的澳大利亚法律推理评测原型。它用统一的版本化提示词向 GPT、Claude、Gemini、Groq、DeepSeek、Mistral、Qwen 及本地开放权重模型等八个模型槽位提出考试式法律问题，抽取答案中的引证并与已知判例、法条语料比对，将引证分为切题、其他真实引证、无法确认三类，再按评分细则打分，并输出自助法置信区间与置换检验，生成静态排行榜。项目支持在无 API 密钥时用确定性模拟离线运行全流程，强调可复现与可审计，但现仅有 16 道未经澳大利亚执业律师审核的暂定题目，已报告结果仅覆盖部分模型槽位，题目数量扩充中，不提供法律意见。

这是基于来源内容整理的摘要。原文链接失效后，本页摘要和讨论仍会保留。