持续评测

从失控到受托：让 AI 智能体真正为你服务

一家名为 Vijil 的公司提出了一套管理 AI 智能体的方法。问题是：企业想把能自主决策的 AI 智能体投入生产，却担心它闯祸——比如环境变化后行为失常、被恶意提示诱导、或者多个智能体各自合规但合起来违规。他们的做法是借鉴信用卡风控：上线前先测试并给出“信任分”，上线后按分数限制权限，持续监控每次关键操作，发现问题就修复、重测、再上线，循环不停。对读者来说，这意味着未来企业部署 AI 智能体时，会更强调“先证明可信、再逐步放权”，文章还提到 Vijil 客户把获得信任的时间缩短了 4 倍，但具体评测细节文章未完整说明，且相关服务处于推广/试用阶段，尚未给出广泛可用的结论。

agentic-evalkit：面向 AI Agent 的可重复评测与校准评审工具

tafreeman/agentic-evalkit · Evaluate AI agents with repeatable tests, calibrated judge evidence, and reviewable reports.

agentic-evalkit 是一个 Python 评测工具包，用于对 AI Agent 的输出按自定义检查项打分，并生成可复核的评分证据报告。它支持命令行和 Python API，可评测 Python 代码、命令行程序和 HTTP 服务，且不绑定特定 AI 框架。评测先执行客观检查，再可选进行模型评判；内置参考评判器对相同输入返回相同结论，且仅作建议，不能批准发布。项目还提供针对 SWE-bench 的 Docker harness、Claude Agent SDK 目标，以及 MLflow 和 Langfuse 的校准门控集成等可选扩展。