AI 资源库 · 已整理 2 项
查看与功效分析相关的 AI 资讯、工具、Skill、工作流和开源项目。
antonsoo/errorbars · Error bars for LLM evals: clustered SEs, paired comparisons, leaderboards, and power analysis. Python + web calculator.
errorbars 是一个 Python 包兼网页计算器，用于给 LLM 评测结果补上统计不确定性：提供均值、标准误与置信区间汇总，支持配对比较、聚类稳健标准误、精确 McNemar 检验、带显著秩的排行榜以及功效分析（估计所需题目数或最小可检测效应）。可读取 lm-evaluation-harness 与 Inspect AI 的日志及 CSV/JSONL 长格式数据，基于 arXiv:2411.00640 的统计实践，帮助判断模型间的分数差距是真实提升还是噪声。
docxology/ntqr_allotment · Research testbed pairing allotment (maximin stratified sortition, Flanigan et al. Nature 2021) with ntqr algebraic logic for ground-truth-free evaluation of noisy binary classifiers — a 96-seed grid over 3/6/9/12-judge panels and 300-item corpora, validated against live gemma3:4b reviewers via Ollama.
该项目是一个两层研究测试床：上游用 allotment 的 maximin 分层抽签引擎以四种策略（代表性抽签、意识形态选择、专长阈值、随机）组建专家小组；下游用 ntqr 的误差独立三分类器评估器，在无答案键的无标注决策数据上推断流行率与各分类器准确率，并用已知合成真值的监督 oracle 打分。项目实现 96 个种子、面板规模 3/6/9/12、300 条目语料的确定性网格扫描，包含误差相关性扫描、告警功效、统计功效分析、符号化 NTQR 公理推导，以及通过 Ollama 本地 gemma3:4b 充当合成同行评议人的实证对照层。主要结论限定在再生成的合成产物与单模型 Gemma 对照范围内。