AI 资源库 · 已整理 7 项

自动化测试

查看与自动化测试相关的 AI 资讯、工具、Skill、工作流和开源项目。

coding-agent-plugins:面向 Claude Code 等编程 Agent 的插件市场,包含智能代码审查、图表生成、UI 与 API 变更前后对比测试及审阅工厂

lchase/coding-agent-plugins · My agent skills that I use every day

该项目是一个 Claude Code 插件市场,提供一组可独立安装的编程 Agent 插件与界面修改插件。核心能力包括:smart-review 用六个专门视角对 diff 进行集成式代码审查并合并去重、按严重度排序;tldraw 将自然语言描述的流程图、架构图等转换为可编辑的 .tldr 文档并渲染 PNG/SVG;test-drive 在修改前后回放同一脚本场景,生成 UI 录屏对比或 API 前后报告;factory 按 spec-writer、builder、并行评审与审批流程处理功能或缺陷并支持看板。另有 cache-clock、usage-gauge、auto-handoff、agent-watch、recording-mode 等 Claude Code 界面 mod。材料还包含一个比较 Claude Code 插件与设置的 token 节省基准,运行完整矩阵会调用 Anthropic API 并有 600 美元上限。

☆ 收藏查看来源 ↗

你的 AI 智能体修好了缺陷,但它还改了什么?

Trail of Bits 发布了两款插件:patching-bugs 负责复现报告的缺陷、开发修复并测试;regression-hunt 负责检查改动是否破坏了原本正常且受支持的行为。起因是他们此前与 OpenAI 合作的 Patch the Planet 项目在合并的 130 多个补丁中确认引入了 21 个回归(16 个功能、1 个性能、4 个构建/测试),虽然没破坏安全防护,但说明只靠智能体打补丁不够稳。两款插件通过固定流程、严格输入输出格式,并要求每条结论都用真实运行环境的「概念验证」复现来减少误报;初步评测中 regression-hunt 的误报比一个被要求「审查回归」的 Codex 基线智能体少 25%。对工程师和开源维护者来说,这提供了一种更可控、可复核的方式把补丁开发和回归检查交给智能体,同时保留人工审核和项目自身的安全规则。目前是刚发布的插件,评测为初步结果。

文中可用工具

  • patching-bugs复现报告缺陷、开发修复并测试的智能体插件
  • regression-hunt检查代码改动是否破坏原有正常行为的智能体插件
  • Codex作为对照基线的智能体,也被工程师用于编写补丁
☆ 收藏查看来源 ↗

ai-kit:面向产品需求与全栈开发的智能体技能工作流工具包

polyms/ai-kit · Polyms AI toolkit — agents, skills, and workflows for product management, requirements, and everyday work.

Polyms 的 ai-kit 是一套版本控制的智能体技能与角色智能体合集,用斜杠命令串联产品对齐、需求与 PRD 撰写、设计规格、任务拆分、TDD 开发、代码审查、文档、E2E 测试、DevOps 与架构重构等环节。当前以 Cursor 为主,设计上兼容其他工具,通过 bootstrap 脚本将技能与智能体软链到本地编辑器目录,偏重小而易组合的工作流,而非重量级流程框架。

☆ 收藏查看来源 ↗

Agents:管理 Codex 与 Claude Code 全局智能体、技能与共享参考配置

07130918/Agents · Codex and Claude Code global agents, skills, and shared references

该仓库用于管理 Codex 与 Claude Code 的用户全局设置,集中维护共享参考、Codex/Claude 配置与 wrapper、新项目 AGENTS.md/CLAUDE.md 模板,以及同步和校验脚本。它提供本地配置与仓库之间的双向同步流程、配置校验与回归测试,并包含 Issue 撰写、评审修复 Harness、浏览器操作等技能与流程说明。认证信息、API key、会话历史、缓存和本地运行状态等不在管理范围内。

☆ 收藏查看来源 ↗

脚本化测试跟不上 AI 写代码的速度,Datadog 押注智能体来测试

很多团队现在直接用 AI 写代码,Anthropic 的工程师产出的代码量达到原来的八倍,有人每月提交数千个 PR。但麻烦在于:代码写得快了,测试仍然要靠人写,得决定测哪些流程、写脚本、流程一变还要改,瓶颈从写代码挪到了测试环节。Datadog 今年收购了 Propolis,把“由智能体写的测试”加进自家平台:智能体自己去探索应用、走用户流程,再根据自然语言的要求生成测试,并结合 Datadog 的日志和链路追踪来检查性能,避免硬编码测试容易失效的问题。对团队来说,这有望缩短开发周期;不过目前只是文章介绍的方案,具体能否用、怎么用还要看 11 月 4 日的线上活动。

文中可用工具

  • Propolis被 Datadog 收购,用智能体探索应用并按自然语言生成测试
  • Datadog提供可观测性平台,结合日志和链路追踪辅助测试与性能检查
☆ 收藏查看来源 ↗

Patchlane:面向金融系统的自主事件响应与沙箱化修复验证

LavishSphere/patchlane · Autonomous incident response for financial systems, powered by secure AI agent sandboxes.

Patchlane 是一个面向金融系统的自主事件响应项目:当转账等服务出现资金安全缺陷时,它按欺诈规则检测异常,在 Daytona 隔离沙箱中复现攻击,由 Factory Droid 在沙箱内分析并编写修复,再把补丁应用到第二个干净沙箱,用智能体未见过的留出测试和回归测试进行验证,最后等待人工审批。项目还提供 React 仪表盘、场景构建器和 Chalk 基准评测,并给出多组种子缺陷案例的运行结果。

☆ 收藏查看来源 ↗

agentic-evalkit:面向 AI Agent 的可重复评测与校准评审工具

tafreeman/agentic-evalkit · Evaluate AI agents with repeatable tests, calibrated judge evidence, and reviewable reports.

agentic-evalkit 是一个 Python 评测工具包,用于对 AI Agent 的输出按自定义检查项打分,并生成可复核的评分证据报告。它支持命令行和 Python API,可评测 Python 代码、命令行程序和 HTTP 服务,且不绑定特定 AI 框架。评测先执行客观检查,再可选进行模型评判;内置参考评判器对相同输入返回相同结论,且仅作建议,不能批准发布。项目还提供针对 SWE-bench 的 Docker harness、Claude Agent SDK 目标,以及 MLflow 和 Langfuse 的校准门控集成等可选扩展。

☆ 收藏查看来源 ↗