1Password 的 AI 补丁基准测试具有误导性

Trail of Bits 发文批评 1Password 于 2026 年 8 月 6 日发布的 FLAWED 报告，认为其“模型仅 26% 生成干净修复”的结论具有误导性。文章指出该报告存在样本偏向复杂漏洞、部分提示词故意要求应用错误修复、超过三分之一试验禁止构建或运行代码、两个模型使用不同推理强度等问题。重新分析其数据后发现，在允许运行代码且未被误导的试验中，1Password 模型生成的 3,067 个补丁中有 2,634 个（86%）成功阻止了给定漏洞利用。文章还发布了两项 agent 技能：post-patch-validation 与 review-walkthrough。