AI 资源库 · 已整理 6 项
查看与可复现研究相关的 AI 资讯、工具、Skill、工作流和开源项目。
hncpyj/research-agent-lab · Multi-agent research pipeline: arXiv retrieval to gap analysis to runnable experiments to AI-judge peer review
ResearchAgentLab 是一个本地优先的研究控制工作区与参考实现，按八个可追踪阶段组织科研流程：论文收集、文献综述、研究空白分析、研究问题与假设审批、冻结实验设计、受控执行、结果验收和报告审查。项目重点解决“静默科学目标漂移”问题，通过审批边界、版本化产物、哈希绑定、科学一致性与软件预检分离等机制，保持从已批准意图到实现产物、结果和报告主张之间的可审计对应关系，并提供来源追踪、多模型路由、用量与成本记录以及 Markdown、LaTeX、PDF 报告输出。
clouatre-labs/llm-agent-experiments · Benchmarking open-weight LLM coding agents as SCOUT delegates: model comparison experiments with pre-registered protocols, blind scoring, and full data.
该项目是一套预注册、盲评的评测实验资料，用于比较多款开源权重 LLM 在多智能体流水线中作为 SCOUT 研究综合角色委派者的表现，并判断它们能否以更低成本替代专有基线 Claude Haiku 4.5。实验采用 8 项二元评分准则、Mann-Whitney U 非劣效检验和成本效率指标，公开了协议、评分准则、逐次运行得分、延迟日志与 SCOUT 交接 JSON。后续实验将评测扩展到流水线全部角色，并加入跨任务复现与上下文隔离研究；项目同时说明，结论受单一任务类型和流水线配置的限制。
ebt55/evalfloor · What a benchmark scores with nothing in it: content-free answers against each task's own majority baseline, plus a judged arm. Preregistered. Closed: 45 tasks on inspect_evals 0.24.0, 1 beats its baseline outright (bbh, a task property).
eval-floor 是一个评测完整性检验工具：它不调用任何模型，而是用一组不含题目信息的内容（空字符串、拒答、拼接所有标签、回显问题等）驱动 Inspect Evals 各任务的真实评分器和数据集，测量“无内容答案”能拿到多高分数，并与多数类基线对比。项目在 inspect_evals 0.24.0 上对 45 个可计数任务做了预先注册的确定性扫描，结果是 34 个健康、10 个因构造方式而天然并列、1 个因任务本身特性（bbh）被标记、0 个因评分器缺陷被标记；另有一个由模型判分的分支，对 7 个任务中的 3 个在 Wilson 95% 下界上标记，并给出判分模型不一致率作为对照。
docxology/ntqr_allotment · Research testbed pairing allotment (maximin stratified sortition, Flanigan et al. Nature 2021) with ntqr algebraic logic for ground-truth-free evaluation of noisy binary classifiers — a 96-seed grid over 3/6/9/12-judge panels and 300-item corpora, validated against live gemma3:4b reviewers via Ollama.
该项目是一个两层研究测试床：上游用 allotment 的 maximin 分层抽签引擎以四种策略（代表性抽签、意识形态选择、专长阈值、随机）组建专家小组；下游用 ntqr 的误差独立三分类器评估器，在无答案键的无标注决策数据上推断流行率与各分类器准确率，并用已知合成真值的监督 oracle 打分。项目实现 96 个种子、面板规模 3/6/9/12、300 条目语料的确定性网格扫描，包含误差相关性扫描、告警功效、统计功效分析、符号化 NTQR 公理推导，以及通过 Ollama 本地 gemma3:4b 充当合成同行评议人的实证对照层。主要结论限定在再生成的合成产物与单模型 Gemma 对照范围内。
Vyoma/agent-economics-lab · Reproducible evidence, cost-quality frontiers, and production feedback loops for predictive ML, generative AI, and agent systems.
Agent Economics Lab 是一个 Python 工具包，把模型与 Agent 的轨迹、独立核验的结果、完整成本和指定基线一起输入，通过重放、审计与成本-质量前沿分析，输出 SCALE、ASSIST、STOP 或 INCOMPLETE 四类决策。项目强调缺失证据即拒绝通过（fail-closed），附带公开 SWE-bench 案例、结果标注器审计语料库和生产反馈回路契约，供团队判断 Agent 是否值得扩大投入。
stanleyyoga123/IncidentBench · A benchmark and evaluation platform for AI-driven Kubernetes incident response, with reproducible fault injection, evidence-based grading, and reference agents for diagnosis, remediation, and learning.
IncidentBench 是一个将 Kubernetes 故障响应转化为可复现实验的基准与评测平台。它部署微服务应用、生成用户流量、注入受控故障，并记录故障响应系统的调查与处置过程。平台包含异常检测、根因分析、受控修复、验证与学习的参考系统，并可通过生命周期适配器接入其他响应系统，复用负载、故障场景、证据采集与评分流水线。内置标准套件覆盖三个微服务应用共 69 个场景，涵盖节点与 Pod 资源压力、网络故障与容量损失等故障族，提供报告、时间线与应用对比。