评测与安全AI 资源

NTQR_allotment：无标注条件下噪声二分类器评测的专家小组组建与 NTQR 代数逻辑研究测试床

docxology/ntqr_allotment · Research testbed pairing allotment (maximin stratified sortition, Flanigan et al. Nature 2021) with ntqr algebraic logic for ground-truth-free evaluation of noisy binary classifiers — a 96-seed grid over 3/6/9/12-judge panels and 300-item corpora, validated against live gemma3:4b reviewers via Ollama.

GitHub原文发布未知首次收录 2026-10-19上架 2026-10-19 07:02

☆ 收藏查看项目 ↗

ELI5：它是什么，解决什么问题

该项目是一个两层研究测试床：上游用 allotment 的 maximin 分层抽签引擎以四种策略（代表性抽签、意识形态选择、专长阈值、随机）组建专家小组；下游用 ntqr 的误差独立三分类器评估器，在无答案键的无标注决策数据上推断流行率与各分类器准确率，并用已知合成真值的监督 oracle 打分。项目实现 96 个种子、面板规模 3/6/9/12、300 条目语料的确定性网格扫描，包含误差相关性扫描、告警功效、统计功效分析、符号化 NTQR 公理推导，以及通过 Ollama 本地 gemma3:4b 充当合成同行评议人的实证对照层。主要结论限定在再生成的合成产物与单模型 Gemma 对照范围内。

# 可复现研究 # 功效分析 # 无标注评测 # 噪声分类器 # 抽签抽样

核心能力与快速开始

★ 1 · Python

能做什么: 提供可复现的两层研究流水线：合成群体按精度、偏差、异质性生成投票；四种小组组建策略适配 allotment 抽签引擎；ntqr 适配层返回无答案键的流行率与分类器准确率评估，并与监督 oracle 对比计分；支持误差相关性扫描、集成告警功效、bootstrap 置信区间与多重比较校正、解析功效与置换检验、sympy 符号化公理与单调性预测；通过 Ollama 调用本地 gemma3:4b 作为评审面板完成实时实证对照，并生成图表与稿件 token。
适用场景: 适合研究无标注条件下噪声分类器评测方法、比较专家小组组建策略对评估误差的影响、探讨面板规模与专家数量是否关键、检验误差相关性对恢复误差的作用，以及作为带完整可复现断言的评测方法学研究测试床。
项目形态: 研究实现
部署方式: 本地运行；使用 uv sync --locked --extra dev 安装锁定依赖并运行 pytest；实时层需要本地 Ollama 上的 gemma3:4b，并以串行可续跑的逐票缓存记录。
主要依赖: Python 3.15 为默认运行时，CI 另测 3.12 与 3.13；ntqr 使用 vendor 目录下随仓库提供的 0.9 wheel，allotment 从 git 源码按固定提交安装；Apple Silicon 需原生 CBC（brew install cbc），可用 NTQR_CBC_PATH 指定求解器。
使用限制: 结论明确限定于再生成的合成产物与单一 gemma3:4b 模型的实时对照；代表性抽签的保护作用只在抽签平衡了共享误差所依赖的精确属性时成立；三策略结果在基线生成器下统计上成簇，属结构性现象；更广的 research_broad 与 panel_ladder 配置及更细的实时分层为未来工作；项目许可证见仓库，allotment 为 AGPL-3.0，项目为本地研究用途、未作为组合作品分发。
许可证: 未说明
最近推送: 2026-10-18 08:35

核对 README 依据 ↗

资料检查：2026-10-19 07:00 · 卡片整理：2026-10-19 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证

相似资源

ResearchAgentLab：把研究简报转化为可审计的多阶段科研流程与受控实验

ResearchAgentLab 是一个本地优先的研究控制工作区与参考实现，按八个可追踪阶段组织科研流程：论文收集、文献综述、研究空白分析、研究问题与假设审批、冻结实验设计、受控执行、结果验收和报告审查。项目重点解决“静默科学目标漂移”问题，通过审批边界、版本化产物、哈希绑定、科学一致性与软件预检分离等机制，保持从已批准意图到实现产物、结果和报告主张之间的可审计对应关系，并提供来源追踪、多模型路由、用量与成本记录以及 Markdown、LaTeX、PDF 报告输出。

llm-agent-experiments：多智能体流水线中开源权重模型的角色级替换评测

该项目是一套预注册、盲评的评测实验资料，用于比较多款开源权重 LLM 在多智能体流水线中作为 SCOUT 研究综合角色委派者的表现，并判断它们能否以更低成本替代专有基线 Claude Haiku 4.5。实验采用 8 项二元评分准则、Mann-Whitney U 非劣效检验和成本效率指标，公开了协议、评分准则、逐次运行得分、延迟日志与 SCOUT 交接 JSON。后续实验将评测扩展到流水线全部角色，并加入跨任务复现与上下文隔离研究；项目同时说明，结论受单一任务类型和流水线配置的限制。

errorbars：为 LLM 评测结果添加误差条与显著性检验的统计工具

errorbars 是一个 Python 包兼网页计算器，用于给 LLM 评测结果补上统计不确定性：提供均值、标准误与置信区间汇总，支持配对比较、聚类稳健标准误、精确 McNemar 检验、带显著秩的排行榜以及功效分析（估计所需题目数或最小可检测效应）。可读取 lm-evaluation-harness 与 Inspect AI 的日志及 CSV/JSONL 长格式数据，基于 arXiv:2411.00640 的统计实践，帮助判断模型间的分数差距是真实提升还是噪声。

eval-floor：检测 LLM 评测任务中零信息答案的得分基线

eval-floor 是一个评测完整性检验工具：它不调用任何模型，而是用一组不含题目信息的内容（空字符串、拒答、拼接所有标签、回显问题等）驱动 Inspect Evals 各任务的真实评分器和数据集，测量“无内容答案”能拿到多高分数，并与多数类基线对比。项目在 inspect_evals 0.24.0 上对 45 个可计数任务做了预先注册的确定性扫描，结果是 34 个健康、10 个因构造方式而天然并列、1 个因任务本身特性（bbh）被标记、0 个因评分器缺陷被标记；另有一个由模型判分的分支，对 7 个任务中的 3 个在 Wilson 95% 下界上标记，并给出判分模型不一致率作为对照。

这是基于来源内容整理的摘要。原文链接失效后，本页摘要和讨论仍会保留。