regression-testing

Agent Evaluation：面向 LLM Agent 的统计回归测试工具

RudrenduPaul/agent-eval · Statistical regression testing for LLM agents: p-value, effect size, and 95% CI on real behavior shifts vs. noise.

Agent Evaluation 对 LLM Agent 的两个版本各运行多次，通过 Mann-Whitney U 检验、Cohen's d 效应量和 Bootstrap 95% 置信区间，判断行为变化是真实回归还是 LLM 运行噪声。项目提供 agent-regress CLI、Python API、MCP 服务器以及可用于 CI 的回归门控（RegressionGate、assert_stable），支持接入 LangGraph、CrewAI、OpenAI Agents SDK 等 Agent 框架，Apache 2.0 许可，可自托管。