关于 Agent 评测最常见的疑问，一次讲清
这件事讲了什么
LangChain 团队基于 LangSmith 平台的经验，整理了 Agent 评测的常见问题。传统软件测试靠精确匹配，但 Agent 每次输出会变、正确答案不止一个、执行路径还可能绕弯，所以需要评测来打分。文章建议先从一条关心的行为入手，用真实 trace 建 10 到 20 条小数据集跑个基线，上线前用离线评测、上线后用在线评测，并优先用代码评测器、其次 LLM 评委、再用人工复核；多步 Agent 要评整条线程和最终状态。文中还提到 Terminal-Bench 这类基准和 Harbor 工具。
可以使用的工具
文中可用工具
- LangSmithLangChain 的 Agent 工程平台，用于记录 trace、建数据集、跑实验和查看评测分数
- Terminal-Bench由较长任务和独立环境组成的离线评测基准，用于比较不同 Agent、模型或版本
- Harbor用来运行 Terminal-Bench 等基准，并把结果记录到 LangSmith 实验中
讨论 0
登录后参与讨论，阅读资讯无需注册。
还没有评论，来分享第一个看法。