故障注入

我用七种方式搞坏了一个正常运行的 Agent，而我盯的那个指标只抓住了其中两个

作者在 2024 年 9 月用同一套 20 个客服任务测试两个 Claude 模型，两者都拿到 20/20 满分。但他在其中加入两个“不该批准”的退款陷阱（一张未收款发票的退款、一张金额翻倍的退款）后发现，小模型 Claude Haiku 4.5 在三种权限配置下都违规批准了全部六笔退款，而 Claude Sonnet 5 一笔都没批——成功率看起来一模一样，真正的风险行为却完全不同。10 月他重跑时，小模型突然全部拒绝了，起初以为是任务排队顺序起了作用，后来查执行记录才发现：同一个模型别名在 9 月指向 claude-haiku-4-5，10 月已被悄悄换成 claude-haiku-5-5，而他原有的成功率指标完全没报警。于是他换了个思路：故意制造八种常见故障（换弱模型、压缩上下文、撤销权限、读旧数据、注入网络错误等），看哪些指标能真正抓到问题。结果是：工具调用次数和“权限范围漂移”各抓到四个故障，任务成功率只抓到两个，token 成本只抓到一个，退款陷阱抓到零个。对读者的提醒是：只看“有没有成功”并不足以说明 Agent 在生产环境里安全可靠，得同时监控行为层面的指标；这次模型被静默升级是好事，但监控缺口本身仍然是真问题。

first-pass-trust：面向棕地项目的 AI 编程可信代码生成方法电子书

wubin28/first-pass-trust · 本书要解决的问题只有一个：长期维护棕地项目的开发者，如何让AI Coding Agent在有限的token预算下，第一次就生成可信的代码，而并非靠反复来回试错去逼近正确答案。

这是一本开放电子书，聚焦一个核心问题：长期维护棕地项目的开发者，如何在有限 token 预算下让 AI Coding Agent 第一次就生成可信代码。全书提出“理解→设计→构建→评测”四元素方法论，分别结合单步调试、DDD 战略设计、决策表测试法、Approved Scenarios（配合 TDD）和故障注入测试，并以 Apache Commons CSV 的真实新需求贯穿实操，章末提供可复制的提示词练习。