AgentEvals：面向智能体轨迹的评估器集合

langchain-ai/agentevals · Readymade evaluators for agent trajectories

GitHub原文发布未知首次收录 2026-10-17上架 2026-10-17 07:01

ELI5：它是什么，解决什么问题

AgentEvals 提供一组用于评估智能体（Agent）执行表现的评估器与工具，重点关注 agent trajectory，即智能体运行过程中的中间步骤。它既可以基于参考轨迹进行匹配判定，也支持以 LLM 作为评判者（LLM-as-judge）来评估轨迹准确性，并包含针对图结构轨迹的评测方式，可作为构建智能体评测体系的概念起点。同时提供 Python 与 TypeScript 版本。

# Agent 评测 # 离线评测 # LLM judges # Python 支持 # 轨迹匹配

核心能力与快速开始

★ 751 · Python

能做什么: 包含智能体轨迹评估器与工具，聚焦于智能体执行的中间步骤（trajectory）。支持将轨迹表示为 OpenAI 风格消息列表或 LangChain BaseMessage；提供轨迹匹配评估器（create_trajectory_match_evaluator / createTrajectoryMatchEvaluator，以及异步版本），可配置 strict、unordered、subset、superset 等匹配模式，并可通过 tool_args_match_mode 与 tool_args_match_overrides 自定义工具调用相等性判定；提供以 LLM 作为评判者的轨迹评估（create_trajectory_llm_as_judge / createTrajectoryLLMAsJudge）及 TRAJECTORY_ACCURACY_PROMPT；提供图轨迹评估（图轨迹 LLM-as-judge、图轨迹严格匹配）；提供 Python 异步支持与 LangSmith 集成（pytest、Vitest/Jest 以及 evaluate）。
适用场景: 用于评估智能体的运行轨迹是否合理或是否符合预期，例如校验工具调用顺序（如先查询公司政策再提交休假申请）、校验特定工具是否在轨迹中被调用过而不限顺序、校验轨迹是否包含参考轨迹的工具调用子集或超集，以及在无固定参考轨迹时借助 LLM 评判轨迹准确性；可结合 LangSmith 与 pytest/Vitest/Jest 在测试流程中运行评估。
项目形态: 开发框架
部署方式: 未说明
主要依赖: Python：pip install agentevals；TypeScript：npm install agentevals @langchain/core。使用 LLM-as-judge 评估器需要 LLM 客户端，默认使用 LangChain chat model 集成并自带 langchain_openai，也可直接使用 openai 客户端。示例需设置 OPENAI_API_KEY 环境变量并使用 openai:o3-mini 模型。
使用限制: 材料未说明 API 成本、硬件要求与使用限制；项目定位为智能体评测的概念性起点，且更通用的评估工具需参考配套包 openevals。
许可证: MIT
最近推送: 2026-07-14 14:50

官方入门项目文档核对 README 依据 ↗

资料检查：2026-10-17 07:00 · 卡片整理：2026-10-17 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证

职业应用

程序员

在开发智能体（Agent）应用时，使用 AgentEvals 提供的评估器对智能体执行轨迹进行评测：可基于参考轨迹做严格/无序/子集/超集匹配，也可用 LLM-as-judge 评估轨迹准确性，并支持图结构轨迹评测，帮助程序员验证智能体中间步骤是否符合预期。

查看内容依据

This package contains a collection of evaluators and utilities for evaluating the performance of your agents, with a focus on **agent trajectory**, or the intermediate steps an agent takes as it runs.

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证

相似资源

mobium-evals：通过 MCP 驱动 Mobium 的 Android 智能体评测框架

mobium-evals 是一套评测框架，用于衡量固定模型通过 MCP 驱动 Mobium 在真实 Android 模拟器上完成任务的效果，评测结果依据设备自身状态判定，而非依赖智能体的自我陈述。项目包含 23 个 MobiumApp 任务（如登录、表单、滑块、弹层遮挡、WebView 表单等）和一个 Morpho Market 重构任务，并设有 reference、null、wrong 三类对照驱动与答案规则校验；还提供本地 Ollama 第二驱动、基于 llama3.1:8b 的答案二次判分，以及面向 Mobium 面向智能体接口（工具描述、错误提示、map 输出）的改进验证循环。仓库 README 给出了在 Android 15 模拟器上的基线结果。

Agent Economics Lab：用可复现证据评估 AI Agent 的成本质量与投产决策

Agent Economics Lab 是一个 Python 工具包，把模型与 Agent 的轨迹、独立核验的结果、完整成本和指定基线一起输入，通过重放、审计与成本-质量前沿分析，输出 SCALE、ASSIST、STOP 或 INCOMPLETE 四类决策。项目强调缺失证据即拒绝通过（fail-closed），附带公开 SWE-bench 案例、结果标注器审计语料库和生产反馈回路契约，供团队判断 Agent 是否值得扩大投入。

Awesome-LLM-Evaluation-Testing：LLM 评测与测试资源合集

这是一个面向 LLM 评测与测试的 curated 列表，汇集 40 多个开源评测器、RAG 评测库、提示词测试工具、Agent 评测框架和 LLM 可观测性平台，并涵盖部分 SaaS 托管平台。列表条目记录了产品能力、定价、免费额度与 Star 数，主要聚焦提示词回归测试、RAG 评测与 Agent 可观测性，适合 AI 工程师和研究者按需检索与选型。

eval-floor：检测 LLM 评测任务中零信息答案的得分基线

eval-floor 是一个评测完整性检验工具：它不调用任何模型，而是用一组不含题目信息的内容（空字符串、拒答、拼接所有标签、回显问题等）驱动 Inspect Evals 各任务的真实评分器和数据集，测量“无内容答案”能拿到多高分数，并与多数类基线对比。项目在 inspect_evals 0.24.0 上对 45 个可计数任务做了预先注册的确定性扫描，结果是 34 个健康、10 个因构造方式而天然并列、1 个因任务本身特性（bbh）被标记、0 个因评分器缺陷被标记；另有一个由模型判分的分支，对 7 个任务中的 3 个在 Wilson 95% 下界上标记，并给出判分模型不一致率作为对照。

这是基于来源内容整理的摘要。原文链接失效后，本页摘要和讨论仍会保留。