评测与安全AI 资源

Agent Economics Lab：用可复现证据评估 AI Agent 的成本质量与投产决策

Vyoma/agent-economics-lab · Reproducible evidence, cost-quality frontiers, and production feedback loops for predictive ML, generative AI, and agent systems.

GitHub原文发布未知首次收录 2026-10-16上架 2026-10-17 07:05

☆ 收藏查看项目 ↗

ELI5：它是什么，解决什么问题

Agent Economics Lab 是一个 Python 工具包，把模型与 Agent 的轨迹、独立核验的结果、完整成本和指定基线一起输入，通过重放、审计与成本-质量前沿分析，输出 SCALE、ASSIST、STOP 或 INCOMPLETE 四类决策。项目强调缺失证据即拒绝通过（fail-closed），附带公开 SWE-bench 案例、结果标注器审计语料库和生产反馈回路契约，供团队判断 Agent 是否值得扩大投入。

# Agent 评测 # LLM judges # 反馈回路 # 模型选型 # 可复现研究

核心能力与快速开始

★ 1 · Python

能做什么: 将 Agent 轨迹、结果标签、费率卡、基线和策略打包为 bundle，经重放与审计后给出 SCALE / ASSIST / STOP / INCOMPLETE 决策，并生成证据绑定的决策记录。支持成本-质量前沿与敏感性分析（如 98 个测试用例的判定翻转），要求为结果标注器提交 attestation（含方法、一致性指标、样本量与日期），缺失必需检查时拒绝输出通过结论。附公开 SWE-bench 案例、结果标注器审计语料库（含 Cohen's kappa 等测量）以及面向预测式 ML、生成式 AI 和 Agent 系统的生产反馈回路契约文档。
适用场景: 用于评估 AI Agent 在生产中是否值得扩大投入、保持人工辅助或停止；比较不同模型（如 claude-opus-4.6 与 claude-4.5-haiku-high）在解决率与单次可用结果成本上的权衡；审计公开轨迹数据集的结果标签可靠性（如 test-retest agreement、标签自相矛盾）；为团队建立可复现、可反驳的 Agent 决策证据链与生产反馈回路。
项目形态: 开发框架
部署方式: 未说明。README 演示使用 uvx 从 git 运行，提取 fixture 后需自行替换为真实运行数据。
主要依赖: Python 3.10+，仅使用标准库；演示无需 API key 或账号。真实运行所需的数据、算力与外部服务条件未说明。
使用限制: 公开案例仅覆盖 20 个任务、单一 harness 和单一 benchmark，成本为上游客户端估算而非账单记录；案例中的 STOP 由业务价值为 0 的算术强制产生，并非模型结论；98 个敏感性测试中有 55 个会因成本假设变化而翻转判定；结果标注器的重复性测量不能替代正确性测量；项目自述有四项主张未通过审计；未说明 API 成本与商用限制。
许可证: Apache-2.0
最近推送: 2026-10-16 06:36

官方入门项目文档核对 README 依据 ↗

资料检查：2026-10-16 07:00 · 卡片整理：2026-10-17 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证

相似资源

llm-agent-experiments：多智能体流水线中开源权重模型的角色级替换评测

该项目是一套预注册、盲评的评测实验资料，用于比较多款开源权重 LLM 在多智能体流水线中作为 SCOUT 研究综合角色委派者的表现，并判断它们能否以更低成本替代专有基线 Claude Haiku 4.5。实验采用 8 项二元评分准则、Mann-Whitney U 非劣效检验和成本效率指标，公开了协议、评分准则、逐次运行得分、延迟日志与 SCOUT 交接 JSON。后续实验将评测扩展到流水线全部角色，并加入跨任务复现与上下文隔离研究；项目同时说明，结论受单一任务类型和流水线配置的限制。

mobium-evals：通过 MCP 驱动 Mobium 的 Android 智能体评测框架

mobium-evals 是一套评测框架，用于衡量固定模型通过 MCP 驱动 Mobium 在真实 Android 模拟器上完成任务的效果，评测结果依据设备自身状态判定，而非依赖智能体的自我陈述。项目包含 23 个 MobiumApp 任务（如登录、表单、滑块、弹层遮挡、WebView 表单等）和一个 Morpho Market 重构任务，并设有 reference、null、wrong 三类对照驱动与答案规则校验；还提供本地 Ollama 第二驱动、基于 llama3.1:8b 的答案二次判分，以及面向 Mobium 面向智能体接口（工具描述、错误提示、map 输出）的改进验证循环。仓库 README 给出了在 Android 15 模拟器上的基线结果。

eval-floor：检测 LLM 评测任务中零信息答案的得分基线

eval-floor 是一个评测完整性检验工具：它不调用任何模型，而是用一组不含题目信息的内容（空字符串、拒答、拼接所有标签、回显问题等）驱动 Inspect Evals 各任务的真实评分器和数据集，测量“无内容答案”能拿到多高分数，并与多数类基线对比。项目在 inspect_evals 0.24.0 上对 45 个可计数任务做了预先注册的确定性扫描，结果是 34 个健康、10 个因构造方式而天然并列、1 个因任务本身特性（bbh）被标记、0 个因评分器缺陷被标记；另有一个由模型判分的分支，对 7 个任务中的 3 个在 Wilson 95% 下界上标记，并给出判分模型不一致率作为对照。

AgentEvals：面向智能体轨迹的评估器集合

AgentEvals 提供一组用于评估智能体（Agent）执行表现的评估器与工具，重点关注 agent trajectory，即智能体运行过程中的中间步骤。它既可以基于参考轨迹进行匹配判定，也支持以 LLM 作为评判者（LLM-as-judge）来评估轨迹准确性，并包含针对图结构轨迹的评测方式，可作为构建智能体评测体系的概念起点。同时提供 Python 与 TypeScript 版本。

这是基于来源内容整理的摘要。原文链接失效后，本页摘要和讨论仍会保留。