AI 资源库 · 已整理 2 项
查看与测试覆盖相关的 AI 资讯、工具、Skill、工作流和开源项目。
LangSmith 团队发文讲怎么让人类专家参与 Agent 的开发评估。问题是 Agent 常常执行多步任务，只看最后一句回答判断好坏会漏掉中间出错的环节，自动评估也说不清“为什么好、为什么坏”。他们的办法是让领域专家查看完整的对话记录和工具调用，给每一步打分并写下理由，再把这些人给出的判断整理成可复用的评估数据，用来校准自动评估、改进在线评测、积累金标准测试集。这样团队在改 Agent 时就有据可依，而不是只凭感觉。
connabyss/bite · Checks whether the "fixed" in your AI coding agent's commits is true. It takes each fix back out and runs your tests. Free, with no key.
Bite 是一个用 Python 编写的测试验证工具，用于检查 AI 编码代理提交中声称的“修复”是否真的受到测试保护。它会将每个近期修复从代码中撤销并重新运行测试；如果测试仍然通过，就说明该修复没有被测试覆盖，并会指出对应的提交。免费模式无需 API Key，支持 pytest、npm test、cargo test、go test、dotnet test、Maven 和 Gradle；也可以在提供 Anthropic API Key 后，额外生成并验证针对该提交声明的测试，并支持 Claude Code 插件、MCP 工具、GitHub Actions 和 PR 检查。