评测与安全综合合集
llm-agent-experiments：多智能体流水线中开源权重模型的角色级替换评测
clouatre-labs/llm-agent-experiments · Benchmarking open-weight LLM coding agents as SCOUT delegates: model comparison experiments with pre-registered protocols, blind scoring, and full data.
ELI5：它是什么，解决什么问题
该项目是一套预注册、盲评的评测实验资料，用于比较多款开源权重 LLM 在多智能体流水线中作为 SCOUT 研究综合角色委派者的表现，并判断它们能否以更低成本替代专有基线 Claude Haiku 4.5。实验采用 8 项二元评分准则、Mann-Whitney U 非劣效检验和成本效率指标，公开了协议、评分准则、逐次运行得分、延迟日志与 SCOUT 交接 JSON。后续实验将评测扩展到流水线全部角色，并加入跨任务复现与上下文隔离研究；项目同时说明，结论受单一任务类型和流水线配置的限制。
核心能力与快速开始
★ 3 · Python
- 能做什么
- 提供预注册、盲评的 LLM 智能体评测协议与数据集：以 8 项二元准则对 SCOUT 研究综合角色的输出评分，结合非劣效统计检验与成本效率指标比较多个开源权重模型与 Claude Haiku 4.5 基线；包含逐次运行得分、标签映射、延迟日志、成本数据和 SCOUT 交接 JSON，并扩展到其他流水线角色、跨任务复现及 GSM8K 上下文隔离实验设计。
- 适用场景
- 适合需要为多智能体流水线中各角色挑选模型的团队参考评测方法；也可复用其评分准则、盲评流程与数据结构，开展角色级模型替换评估，或对照其公开数据了解不同模型在该类研究综合任务上的质量、可靠性与成本表现。
- 项目形态
- 资料合集
- 部署方式
- 未说明；README 仅说明复现需安装 Goose 1.27.2，并通过 GCP Vertex AI 或 OpenRouter 调用模型。
- 主要依赖
- 复现涉及 Goose 1.27.2 编排器、Python 3.13.12 分析环境，以及 Claude Sonnet 4.6（GCP Vertex AI，温度 0.3）作为编排模型；模型 API 的具体费用与限制未在材料中完整说明。
- 使用限制
- 结果局限于单一任务类型和流水线配置，推广到其他智能体角色需进一步研究；部分实验样本量小（约 4-5 次/模型），DeepSeek V3.2 仅 3 次有效运行，Qwen3 Coder 无有效运行；exp3 与 exp4 之间的 C3 评分定义有调整且未回溯重评；原始 JSONL 会话日志未包含在仓库中；exp10 结果尚未产生。
- 许可证
- Apache-2.0
- 最近推送
- 2026-10-19 14:44
资料检查：2026-10-20 07:00 · 卡片整理：2026-10-20 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证
职业应用
程序员
作为多智能体流水线中角色级模型替换的评测模板与数据集，程序员可参考其预注册协议、8 项二元评分准则、盲评流程和成本效率指标，评估开源权重模型能否替代专有基线模型承担研究综合等子代理角色；仓库还公开了逐次运行得分、延迟日志与 SCOUT 交接 JSON，可用于复现和比较模型表现。
查看内容依据
The evaluation protocol is released as a reusable template for role-level model substitution assessments in multi-agent systems.
由 AI 根据来源材料整理，未进行安装或运行验证
讨论 0
登录后参与讨论，阅读资讯无需注册。
还没有评论，来分享第一个看法。