cap-evolve：基于失败评测轨迹优化 AI Agent 的提示词、工具与技能包
skillberry-ai/cap-evolve · Optimize any AI agent’s skills, tools/MCP, and prompts against your own evals.
ELI5：它是什么，解决什么问题
cap-evolve 是一个用于优化 AI Agent 能力的 Python 工具与框架：在用户已有的 Agent 和评测之上运行「评测 → 诊断失败 → 生成候选修改 → 验证门控 → 提交」的循环，依据失败轨迹改进系统提示词、工具实现代码、MCP 工具面和技能包（Skill package），只优化 Agent 读取的内容而非模型权重。每次候选修改都是一次 git 提交，可通过终端实时视图和 dashboard 查看差异、成本、时间与逐任务通过/失败热力图；采用 val 显著性门控接受候选、密封测试集只评一次以保证评测诚实性。支持接入自有 Agent（实现 tasks/run_target/score 三个必需方法）以及 Claude Code 插件、多种编码 Agent 宿主等使用路径，并提供 toy_calc 等无需 API Key 的示例。
核心能力与快速开始
★ 61 · Python
- 能做什么
- 通过评测循环自动优化 Agent 的系统提示词、工具实现代码、MCP 工具面与技能包；从完整轨迹和逐任务因果反馈中诊断失败并生成候选修改；以 val 显著性门控（Δ > k·SE）接受候选，密封测试集只评一次；每个候选作为 git 提交可 diff、追踪血缘；终端实时视图与 dashboard 展示花费、耗时、差异、血缘和逐任务热力图；提供 CLI 命令（init、doctor、watch、replay、diff、dashboard 等）；支持多种算法；提供适配器合同与 JSONL、HuggingFace、tau2-bench、SWE-bench、SkillsBench 等适配器模板。
- 适用场景
- 优化已有 AI Agent 的提示词与工具；改进 MCP 工具的可读文档与暴露范围；优化 Agent Skill 技能包（SKILL.md、引用与可执行脚本）；把自有评测集接入统一的优化与门控流程；在 tau2-bench airline、SWE-bench、SkillsBench 等基准上做能力优化实验。
- 项目形态
- 开发框架
- 部署方式
- 未说明
- 主要依赖
- Python 3.10+；核心包宣称零运行时依赖（仅标准库）；实际优化运行需要接入自己的 Agent 与评测，涉及模型调用时需自备凭据，具体条件未说明。
- 使用限制
- 状态标注为 beta（0.x）；只优化 Agent 读取的内容，不调整模型权重；优化过程依赖用户提供可用的评测集与适配器；成本与模型调用限制未说明；RH-SWE-bench 结果缺少本仓库内提交的产物，README 提示引用前需查看其 caveats。
- 许可证
- Apache-2.0
- 最近推送
- 2026-09-27 05:16
资料检查：2026-09-27 07:00 · 卡片整理：2026-10-02 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证 · 本次更新未完成，保留上次成功内容
职业应用
程序员
程序员可用 cap-evolve 在自有 Agent 和评测之上运行「评测 → 诊断失败 → 生成候选修改 → 验证门控 → 提交」循环，依据失败轨迹改进系统提示词、工具实现代码、MCP 工具面和技能包，并通过终端实时视图和 dashboard 查看差异、成本、时间与逐任务通过/失败热力图。
查看内容依据
cap-evolve 是一个用于优化 AI Agent 能力的 Python 工具与框架：在用户已有的 Agent 和评测之上运行「评测 → 诊断失败 → 生成候选修改 → 验证门控 → 提交」的循环，依据失败轨迹改进系统提示词、工具实现代码、MCP 工具面和技能包（Skill package）
由 AI 根据来源材料整理，未进行安装或运行验证
讨论 0
登录后参与讨论，阅读资讯无需注册。
还没有评论，来分享第一个看法。