AgentEval：面向受监管行业的 AI Agent 需求驱动验证与合规评估平台

DTiapan/AgentEval · Open-source agent assurance: turn a PRD and agent URL into frozen test suites with evidence-backed PASS/FAIL/UNVERIFIABLE verdicts. Web console, REST API, SQLite. Domain packs for regulated teams (fintech, insurance, health).

GitHub原文发布未知首次收录 2026-09-28上架 2026-09-28 07:03

☆ 收藏查看项目 ↗

ELI5：它是什么，解决什么问题

AgentEval 是一个开源的智能体验证平台，可将产品需求文档（PRD）与智能体 URL 转化为冻结的测试套件，并通过 HTTP 以黑盒方式运行测试，给出带有证据支撑的 PASS / FAIL / UNVERIFIABLE 判定。它提供 Web 控制台、REST API 与 SQLite 持久化，强调需求可追溯、稳定需求 ID、测试套件同步与领域包扩展机制，定位于金融科技、保险、医疗等受监管行业中需要合规证明而非单纯看板的团队。

# 评测与安全 # llm-as-judge # 合规治理 # AI 治理 # 智能体评测

核心能力与快速开始

★ 0 · Python

能做什么: 从 Markdown PRD 中提取需求并生成候选测试池，经集合覆盖与强制下限优化后冻结为 SQLite 中的 SuiteVersion；通过 HTTP 黑盒方式运行冻结测试套件，记录 HTTP 观测、理由与执行步骤作为证据；为每条验收标准输出 PASS / FAIL / UNVERIFIABLE 判定，避免无证据时猜测通过；支持稳定需求 ID（req-…）与套件同步（spec drift），需求移除时自动裁剪测试并持久化指纹与变更日志；提供 Web 控制台、REST API（/v1/suites/*）与 SQLite 持久化共用同一引擎；支持通过 entry points 以领域包形式扩展必备需求、合规映射、场景与检查，而不修改核心代码。
适用场景: 工程师或 QA 一次性接入智能体后运行冻结套件，便于用真实观测和执行轨迹定位失败；产品与合规负责人审批需求并签署可被审计人员阅读的按需求/控制项报告，而非单一评分；CI 流程中当强制检查失败时阻止发布，保证每次运行证据与判定一致；受监管行业（金融科技、保险、医疗）团队需要从需求到测试再到证据和判定的可重复、可签署链路时使用；通过 CLI 执行 suite init、suite sync 与基于 YAML 场景的运行。
项目形态: 可直接使用的工具
部署方式: 本地部署：通过 agenteval serve 启动 API 与 UI（默认 SQLite，SQLite 作为单一事实来源），控制台可用 npm 构建或开发服务器运行，可选 uv 安装；支持仅 API 模式（--no-ui）。多租户认证/SaaS 仍属路线图，未实现。
主要依赖: Python 3.11+，Node 18+（用于构建控制台或开发服务器）；可选使用 uv 进行快速安装；运行内置示例智能体需要相应端口可用。
使用限制: 多租户认证与 SaaS 尚未实现（路线图）；Inspect AI 作为执行引擎已接受但尚未接入；SQLite v2 迁移仅部分完成，按标准判定与证据行持久化仍处于设计阶段；金融科技领域包尚在规划中；保险与医疗包属后续规划；未说明 API 成本或商用授权限制（README 标注 Apache-2.0 许可证）。
许可证: 未说明
最近推送: 2026-09-27 14:39

官方入门项目文档核对 README 依据 ↗

资料检查：2026-09-28 07:00 · 卡片整理：2026-09-28 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证 · 本次更新未完成，保留上次成功内容

职业应用

程序员

将产品需求文档（PRD）与智能体 URL 转化为冻结的测试套件，通过 HTTP 以黑盒方式运行测试，获得带有证据支撑的 PASS / FAIL / UNVERIFIABLE 判定，用于 CI 中阻止发布当强制检查失败，并调试失败时查看真实观察和轨迹。

查看内容依据

Connect the agent once; run a frozen suite; debug failures with real observations and trajectories

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证

产品经理

将产品需求文档（PRD）与智能体 URL 转化为冻结的测试套件，生成可审计的报告，按需求/控制项而非单一“感觉分数”展示，用于产品/合规负责人批准需求并签署报告。

查看内容依据

Approve requirements; sign a report auditors can read (per requirement / control, not a single “vibe score”)

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证

相似资源

vibe-pm-kit：面向 vibe coding 的产品管理工具包（规格、提示词简报、评测与规范检查）

vibe-pm-kit 是一个面向 AI 辅助编程场景的产品管理套件，提供 AI 可执行的规格文档、提示词简报、评测记分卡、数据集卡片和模型训练与调优的实操指南，并附带零依赖的 Python 规格检查 CLI（spec_lint.py），按九个章节给 Markdown 规格打分（满分 100），支持 --check 和 --min-score 用于 CI 门禁，另提供浏览器端规格评分页面。

ResearchAgentLab：把研究简报转化为可审计的多阶段科研流程与受控实验

ResearchAgentLab 是一个本地优先的研究控制工作区与参考实现，按八个可追踪阶段组织科研流程：论文收集、文献综述、研究空白分析、研究问题与假设审批、冻结实验设计、受控执行、结果验收和报告审查。项目重点解决“静默科学目标漂移”问题，通过审批边界、版本化产物、哈希绑定、科学一致性与软件预检分离等机制，保持从已批准意图到实现产物、结果和报告主张之间的可审计对应关系，并提供来源追踪、多模型路由、用量与成本记录以及 Markdown、LaTeX、PDF 报告输出。

agentic-evalkit：面向 AI Agent 的可重复评测与校准评审工具

agentic-evalkit 是一个 Python 评测工具包，用于对 AI Agent 的输出按自定义检查项打分，并生成可复核的评分证据报告。它支持命令行和 Python API，可评测 Python 代码、命令行程序和 HTTP 服务，且不绑定特定 AI 框架。评测先执行客观检查，再可选进行模型评判；内置参考评判器对相同输入返回相同结论，且仅作建议，不能批准发布。项目还提供针对 SWE-bench 的 Docker harness、Claude Agent SDK 目标，以及 MLflow 和 Langfuse 的校准门控集成等可选扩展。

Tracify：面向 AI Agent 的可观测性与故障防护平台

Tracify 是一个面向 AI Agent 的可观测性与故障防护平台，通过捕获 Agent 运行、LLM 生成、工具调用、成本、评测与失败信息，帮助团队理解发生了什么、定位并修复问题、验证修复效果并防止同类故障复发。它提供 TypeScript 与 Python SDK（包名 tracify-sdk），支持嵌套运行、自定义 span、重试与错误追踪，并配套数据集与评测器、Prompt 版本管理与部署标签、成本与运行时策略（SDK 失败开放）、区域端点与公开健康状态页面。架构上以 SDK/OTLP 接入 Next.js 摄取，经 Tinybird 存储高吞吐遥测数据、Convex 保存项目元数据与工作流状态，并输出到仪表盘。

这是基于来源内容整理的摘要。原文链接失效后，本页摘要和讨论仍会保留。