AI 资源库 · 已整理 4 项
查看与agent-testing相关的 AI 资讯、工具、Skill、工作流和开源项目。
RudrenduPaul/agent-eval · Statistical regression testing for LLM agents: p-value, effect size, and 95% CI on real behavior shifts vs. noise.
Agent Evaluation 对 LLM Agent 的两个版本各运行多次，通过 Mann-Whitney U 检验、Cohen's d 效应量和 Bootstrap 95% 置信区间，判断行为变化是真实回归还是 LLM 运行噪声。项目提供 agent-regress CLI、Python API、MCP 服务器以及可用于 CI 的回归门控（RegressionGate、assert_stable），支持接入 LangGraph、CrewAI、OpenAI Agents SDK 等 Agent 框架，Apache 2.0 许可，可自托管。
Momoyeyu/autodev · Open the black box of vibe coding. A clarify-first Agent Skill: agree on a target — blueprint, passing test set, or benchmark threshold — then loop inside a judged worktree and hand off visible evidence. | 打开 VibeCoding 的黑盒：先与人对齐目标（blueprint／全绿测试组／benchmark 阈值），在裁决脚本监督的 worktree 中迭代，交付看得见的证据
autodev 是一个 clarify-first（先澄清）的 Agent Skill，面向功能开发、缺陷修复与性能优化三类场景。它要求先与人对齐目标——蓝图、全绿测试组或 benchmark 阈值——并记录基线与边界，然后在独立 git worktree 与分支中迭代：每次尝试都提交，被否决的优化尝试回滚到最佳提交，最后由 Handoff 合并分支并交付可见证据（建成态图、通过的测试组或优化过程图）。它由 Markdown 协议加一个 Python 标准库判断脚本 autodev_verify.py 组成，脚本负责机械可检查的部分（冻结文件未被改动、改动在批准范围内、时间预算、评分方向与余量、越界尝试无残留、蓝图元素覆盖、每轮判定与原始输出留档），其余依赖 Agent 判断与人类一次性评审整个 Clarify 阶段。它不提供运行时或测试框架，只调用目标项目自身的命令。
egnaro9/egnaro9.github.io · Portfolio: Erik Hill, AI evaluation and testing engineer
该项目是 Erik Hill（AI 评测与测试工程师）的个人作品集网站，采用手写 HTML/CSS，不使用框架、部署时不编译（suite/ 目录下的页面除外，由构建脚本从已提交产物生成）。仓库同时作为一个工作系统的枢纽，展示了一套围绕 LLM 评测、回归探测、可验证评测（能力契约与可重放证据包）以及部署服务（FastAPI+Postgres、RAG 评测、LLM 网关等）的小型仓库如何协同工作，README 中给出了各仓库之间的真实数据流。
api-evangelist/langwatch · LangWatch — independent third-party profile of a public API surface, by API Evangelist. LangWatch is an open-source LLM observability, evaluation, and AI agent testing platform. Built around OpenTelemetry-native tracing, LangWatch lets teams instrument LLM applications (LangChain, LangGraph, DSPy, OpenAI Agents, LiteLLM, Pydantic AI, CrewAI, AWS Be
LangWatch 是一个开源的 LLM 可观测性、评估与 AI Agent 测试平台，以 OpenTelemetry 原生 tracing 为核心，可对 LangChain、LangGraph、DSPy、OpenAI Agents、LiteLLM、Pydantic AI、CrewAI、AWS Bedrock 等 LLM 应用进行埋点观测。平台支持实时与批量的评估运行、prompt 版本管理与部署、基于剧本场景与 Judge Agent 的多轮 Agent 对话模拟、带标注的数据集管理，以及通过带预算和语义缓存的虚拟密钥 AI Gateway 治理模型流量。它提供 app.langwatch.ai 的 REST API、Python 与 TypeScript SDK 和 MCP server，发布配套的 scenario Agent 测试框架与 better-agents 标准，核心以 Apache-2.0 授权（ee/ 企业模块为商业许可），可部署为 LangWatch Cloud 或通过 Docker Compose、Helm、Kind 或完整 Kubernetes 自托管。