Agent Evaluation：面向 LLM Agent 的统计回归测试工具

核心能力与快速开始

★ 0 · Python

能做什么

对 LLM Agent 两个版本各运行多次并进行分布统计对比：Mann-Whitney U 检验给出 p 值，Cohen's d 给出效应量，Bootstrap（1000 次重采样）给出均值差的 95% 置信区间，并输出 REGRESSED / STABLE / IMPROVED / INSUFFICIENT_DATA 判定。提供 agent-regress compare 命令行（支持 --json 和 --fail-on-regression，便于接入 CI）、Python API（compare()、assert_stable()、RegressionGate、exact_match_scorer、f1_scorer 及自定义 scorer）、MCP 服务器（暴露 run 工具供 Claude、Cursor 等 MCP 客户端调用），并包含样本量警告机制。

适用场景

在改动提示词、切换模型或依赖静默更新后，判断 Agent 行为分布的偏移是否显著；把统计回归门控加入 CI，在判定为 REGRESSED 时让构建失败以阻止部署；用 Python API 驱动自有的 Agent 与测试集进行版本 A/B 统计对比；通过 MCP 让兼容客户端直接发起回归测试。README 中列举了 LangGraph、OpenAI Agents SDK、CrewAI 的场景（如缓存掩盖方差、配置传递丢失、附件被降级为纯文本、路径泄露、输出模式变化）。

项目形态

可直接使用的工具

部署方式

可自托管；提供 PyPI 包 agent-regress-cli（pip install、uv add）与 npm/npx 包装；MCP 服务器为 stdio 传输，由 MCP 客户端作为本地子进程启动，无需托管。其余部署细节未说明。

主要依赖

Python 环境；MCP 功能需安装 agent-regress-cli[mcp]，并要求 uvx 等可用（示例配置）。Node/npx 方式为对同一 Python CLI 的薄包装。其余硬件与运行条件未说明。

使用限制

README 未说明 API 成本、模型调用开销与硬件限制。统计结论依赖足够样本量：Agent 返回浮点分数时 metric 不能使用 "accuracy"；CI 门控在 n<30 时警告、n<10 时视为数据不足并跳过；compare() 通用低功效警告阈值为 n<50；缓存会破坏独立采样假设，需启用缓存失效。README 中的对比与适用性结论为项目方陈述，未在材料中独立验证。

许可证

Apache-2.0

最近推送

2026-09-25 12:49

资料检查：2026-09-26 07:00 · 卡片整理：2026-09-26 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证 · 本次更新未完成，保留上次成功内容

职业应用

程序员

在 CI 中对 LLM Agent 的两个版本各运行多次，用 Mann-Whitney U 检验、Cohen's d 效应量和 Bootstrap 95% 置信区间判断行为变化是真实回归还是运行噪声，并通过 RegressionGate、assert_stable 或 --fail-on-regression 在检测到回归时阻断构建。

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证