评测与安全工具
VerInf：为 LLM 推理生成零知识证明
JamesPetrie/VerInf
ELI5：它是什么，解决什么问题
VerInf 是一个研究原型，用于为大型语言模型推理生成零知识证明。它针对已训练的浮点模型，通过证明观测到的输出流与已承诺的整数模型之间的相似性，并给出“未解释信息”的比特数上界，而不是要求逐位精确复现。项目采用仅基于哈希的承诺，无需可信设置，构造上具有后量子可能性；证明除该上界和公开声明列表外不泄露权重、激活值或隐藏 token。README 记录了 400B 参数 Llama 4 Maverick 全模型 1000 token 前向的可信证明（单台 DGX Spark 约 14.3 小时，证明体积 93.6 GB），以及 32 层 Llama-2-7B 的较小验证门（约 44 分钟证明、23 分钟验证）。项目包含 Python+CUDA 证明器、独立 Rust 验证器、示例与设计文档。
核心能力与快速开始
★ 17 · Python
- 能做什么
- 生成 LLM 推理的零知识证明：证明观测输出流与已承诺整数模型一致，并对未解释信息给出上界；仅基于哈希承诺，无可信设置；公开声明列表只披露模型架构而不泄露权重、激活值或隐藏 token；提供模型编写用的 tape 接口、Python+CUDA 证明器、独立 Rust CPU 验证器，以及 Llama-2-7B 和 Llama 4 Maverick MoE 示例。
- 适用场景
- 用于互不信任方之间核验 AI 算力协议、检测模型权重外泄、审计已部署模型是否与获批版本一致，以及检查推理的缺陷或篡改；这些场景要求验证推理而不暴露模型本身。
- 项目形态
- 研究实现
- 部署方式
- 本地运行：Rust 验证器为 CPU-only；证明器需要 NVIDIA GPU、CUDA 与 ninja。未说明托管或云服务部署方式。
- 主要依赖
- 证明器需要 CUDA GPU（示例使用单台 NVIDIA DGX Spark，78.1 GB GPU、83.9 GB 统一内存）、nvcc、ninja 和 Python 依赖；Rust 验证器可在 20 CPU 核心上运行。Llama-2-7B 门禁使用受权限控制的 Hugging Face 检查点。成本与耗时：400B 全模型约 14.3 小时证明，验证约 17.7 小时；32 层 Llama-2-7B 约 44 分钟证明、23 分钟验证。
- 使用限制
- 研究原型，完整构造未经安全审计；示范运行仅解释每 token 约 95% 的信息（0.880 未解释比特），可能不足以满足所有应用；证明体积大（全模型 1000 token 在 40 列下为 93.6 GB，更多列会更大）；实现使用顺序 Fiat-Shamir，可能导致 prover grinding，非交互部署需要按 grinding 预算调整审计列数；生产级可靠性需 80 列，但示范运行只打开 40 列。
- 许可证
- MIT
- 最近推送
- 2026-11-05 02:38
资料检查：2026-11-06 07:00 · 卡片整理：2026-11-06 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证
职业应用
程序员
作为研究原型，程序员可用它为大语言模型推理生成零知识证明，验证观测到的输出流与已承诺整数模型之间的相似性，并用于检查推理是否存在缺陷或被篡改；仓库提供 Python+CUDA 证明器、独立 Rust 验证器及可运行示例。
查看内容依据
VerInf produces zero-knowledge proofs of large-language-model inference.
由 AI 根据来源材料整理，未进行安装或运行验证
讨论 0
登录后参与讨论，阅读资讯无需注册。
还没有评论，来分享第一个看法。