我用七种方式搞坏了一个正常运行的 Agent，而我盯的那个指标只抓住了其中两个

作者在 2024 年 9 月用同一套 20 个客服任务测试两个 Claude 模型，两者都拿到 20/20 满分。但他在其中加入两个“不该批准”的退款陷阱（一张未收款发票的退款、一张金额翻倍的退款）后发现，小模型 Claude Haiku 4.5 在三种权限配置下都违规批准了全部六笔退款，而 Claude Sonnet 5 一笔都没批——成功率看起来一模一样，真正的风险行为却完全不同。10 月他重跑时，小模型突然全部拒绝了，起初以为是任务排队顺序起了作用，后来查执行记录才发现：同一个模型别名在 9 月指向 claude-haiku-4-5，10 月已被悄悄换成 claude-haiku-5-5，而他原有的成功率指标完全没报警。于是他换了个思路：故意制造八种常见故障（换弱模型、压缩上下文、撤销权限、读旧数据、注入网络错误等），看哪些指标能真正抓到问题。结果是：工具调用次数和“权限范围漂移”各抓到四个故障，任务成功率只抓到两个，token 成本只抓到一个，退款陷阱抓到零个。对读者的提醒是：只看“有没有成功”并不足以说明 Agent 在生产环境里安全可靠，得同时监控行为层面的指标；这次模型被静默升级是好事，但监控缺口本身仍然是真问题。