通过 harness 工程改进 Deep Agents
LangChain 给自家的编程智能体 Deep Agents CLI 换了一套围绕模型的“外骨架”（系统提示、工具和中间件），用来引导模型的能力。原来的做法缺少测试和验证，智能体常写完代码、自己看一遍就停下，导致成绩只有 52.8 分，排在 Terminal Bench 2.0 榜单 30 名开外。这次他们加了强制自检清单、注入目录与工具环境信息、以及时间预算提醒，还用追踪数据自动分析失败原因，成绩提升 13.7 分到 66.5 分，进入前五。对读者的意义是：不改模型本身，靠工程化外围设计也能明显提升智能体表现；不过其追踪分析技能尚未发布，仍在测试中。
文中可用工具
- Deep Agents CLILangChain 的编程智能体，本次改进的对象
- Terminal Bench 2.0评估智能体编程能力的基准测试，共 89 个任务
- Harbor用于编排测试运行的框架
- Daytona提供沙箱环境运行测试
- LangSmith存储智能体每步操作及延迟、token 数、成本等指标
- GPT-5.2-Codex本次实验中固定使用的模型
- PreCompletionChecklistMiddleware在智能体退出前拦截，提醒其对照任务要求做验证
- LocalContextMiddleware启动时扫描工作目录和工具环境，把上下文注入给智能体
评论 · 分享第一个看法