AgentTrust IQ：面向 AI Agent 的可靠性与评测平台

核心能力与快速开始

★ 0 · Python

能做什么

提供模型无关的 AI Agent 可靠性检查，覆盖接地性、引用支持、幻觉、拒绝准确性、PII、提示注入与不安全工具操作等维度；支持不安全工具操作的分级与人工审批升级；产出 JSONL 审计记录与 Prometheus 格式指标；提供 FastAPI 评测与 OpenAI 兼容推理接口，包含 demo 端点与静态走查页面；可选通过 GEMINI_API_KEY 接入 Gemini 作为辅助评估器，未配置时回退到确定性评估器。

适用场景

在 AI Agent 发布前进行可靠性把关，基于确定性评测对发布给出 release、block 或 escalate 决策；对 RAG 回答进行接地性与引用精度校验；对不安全请求与提示注入进行拒绝准确性检查；生成可回放的审计证据用于评审与合规记录；作为评测基线流程进行本地可复现验证。

项目形态

开发框架

部署方式

默认工作流为确定性本地运行，可用 uvicorn 启动 FastAPI 服务；README 提到提供 Docker、Kubernetes、Helm 和 Terraform 打包，但未声明拥有真实生产集群。

主要依赖

README 提及需安装 requirements-lite.txt 轻量本地依赖并使用 Python 环境；可选 Gemini 评估器需配置 GEMINI_API_KEY，基线工作流不需要付费 API。具体硬件与版本要求未说明。

使用限制

README 自述仓库中的评测结果为受控演示/测试结果：6 个确定性 fixture 用例，非客户生产遥测、非生产容量声明、非独立基准；0.159 ms 为本地确定性评估器运行时间，并非 LLM、API、RAG 或端到端延迟；cyber 覆盖为模拟、NVIDIA 形状的评测包为 mock/offline、合并历史摘要为补充材料而非基准。

许可证

未说明

最近推送

2026-10-12 04:54

资料检查：2026-10-12 07:00 · 卡片整理：2026-10-12 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证 · 本次更新未完成，保留上次成功内容

职业应用

程序员

在发布 AI Agent 前，使用该平台对回答的接地性、引用支持、提示注入抵抗、PII 处理、不安全工具操作、延迟与可审计性进行检查，并生成可回放的 JSONL 证据，将可靠性检查转化为 release、block 或 escalate 决策。

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证

产品经理

在 AI Agent 发布前，使用该平台检查回答的接地性、引用支持、提示注入抵抗、PII 处理、不安全工具操作、延迟与可审计性，并依据 release、block 或 escalate 决策与可回放 JSONL 证据评估是否可发布。

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证