AI 资源库 · 已整理 1 项

模型验证

查看与模型验证相关的 AI 资讯、工具、Skill、工作流和开源项目。

Anthropic 找到证明是哪个 AI 模型回答你的方法——但代价高昂

用 AI API 的开发者过去很难确认回答请求的到底是不是自己付费的那个模型,服务商可以偷偷换成更便宜的模型,攻击者也可能篡改回答。Anthropic 的 Frontier Red Team 开源了 FlashProve,用密码学证明(zkSNARKs)在不暴露模型权重的情况下验证回答来自特定模型。不过它目前只是研究原型、不在 Claude API 里,而且生成证明的 GPU 开销是普通推理的 70 到 95 倍(在 Llama 4 Maverick 上单张 H100 每秒约处理 110 个提示 token),只支持 1024 token 上下文,不适合日常 API 流量。对开发者的用处是:以后可能借此核验第三方 AI 服务、发现被入侵的推理系统,但现在还只能自己下载代码测试。

文中可用工具

  • FlashProveAnthropic 开源的密码学验证系统,用于证明某条回答来自特定模型权重而不暴露权重
  • zkSNARKs零知识证明技术,用来在不泄露模型权重的前提下验证回答来源
  • Llama 4 MaverickMeta 的 4000 亿参数混合专家模型,被用作 FlashProve 的测试对象
  • vLLM标准推理框架,文中用作对比基准衡量 FlashProve 的额外 GPU 开销
  • Lean形式化验证工具,用于数学上验证协议的安全性质
  • VerInf更早的开源验证系统,文中作为 FlashProve 的速度对比对象
  • ClaudeAnthropic 的 AI 模型,参与 FlashProve 的部分开发与优化
  • Claude APIAnthropic 的 API 服务,FlashProve 目前并未集成其中
  • Nvidia H100用于测试 FlashProve 生成证明性能的单张 GPU
☆ 收藏查看来源 ↗