离线评测

AgentEvals：面向智能体轨迹的评估器集合

langchain-ai/agentevals · Readymade evaluators for agent trajectories

AgentEvals 提供一组用于评估智能体（Agent）执行表现的评估器与工具，重点关注 agent trajectory，即智能体运行过程中的中间步骤。它既可以基于参考轨迹进行匹配判定，也支持以 LLM 作为评判者（LLM-as-judge）来评估轨迹准确性，并包含针对图结构轨迹的评测方式，可作为构建智能体评测体系的概念起点。同时提供 Python 与 TypeScript 版本。

关于 Agent 评测最常见的疑问，一次讲清

LangChain 团队基于 LangSmith 平台的经验，整理了 Agent 评测的常见问题。传统软件测试靠精确匹配，但 Agent 每次输出会变、正确答案不止一个、执行路径还可能绕弯，所以需要评测来打分。文章建议先从一条关心的行为入手，用真实 trace 建 10 到 20 条小数据集跑个基线，上线前用离线评测、上线后用在线评测，并优先用代码评测器、其次 LLM 评委、再用人工复核；多步 Agent 要评整条线程和最终状态。文中还提到 Terminal-Bench 这类基准和 Harbor 工具。