AgentEvals:面向智能体轨迹的评估器集合
langchain-ai/agentevals · Readymade evaluators for agent trajectories
AgentEvals 提供一组用于评估智能体(Agent)执行表现的评估器与工具,重点关注 agent trajectory,即智能体运行过程中的中间步骤。它既可以基于参考轨迹进行匹配判定,也支持以 LLM 作为评判者(LLM-as-judge)来评估轨迹准确性,并包含针对图结构轨迹的评测方式,可作为构建智能体评测体系的概念起点。同时提供 Python 与 TypeScript 版本。
评论 · 分享第一个看法