Anthropic发布FlashProve，用密码学证明回复来自指定模型权重

Anthropic 的 Frontier Red Team 发布了 FlashProve，这是一个用于可证明推理的开源研究原型。FlashProve 是 Anthropic 推出的 zkSNARK 系统，可证明某条回复来自一个已承诺的模型。证明过程不会泄露任何关于模型权重的信息。在 Llama 4 Maverick（一个 400B 的混合专家模型）上，它能在 1 张 H100 上达到约 110 tokens/秒的证明速度。对开发者而言，这瞄准的是一个真实存在的缺口：如今你无法核实究竟是哪个模型实际回答了你的 API 调用。

摘要

• 规模：可证明 400B MoE 模型（每个 token 约 17B 激活参数）；每次请求的上下文上限为 1,024 个 token。
• 运行环境：证明方需要 1 张 H100 80 GB、24 个 CPU 核心和约 290 GB 主机内存。验证方在 CPU 上运行，无需 GPU。
• 性能：在同一个 400B 模型上，比此前的开源 zkML 系统快数个数量级。
• 最佳情况：在 1 张 H100 上达到 110 tokens/秒的证明速度，18.78 MB 的证明可在 17 秒内完成校验。
• 最差情况：证明所消耗的 GPU 时间约为普通 vLLM 推理的 70 至 95 倍。

可证明推理解决了什么问题？

用户查询一个模型时，无法验证是哪个模型生成了响应。路由服务可能偷偷换成一个更便宜的模型。攻击者可能篡改 token 流。仅凭输出质量来判断并不可靠。

Anthropic 列出了 4 个用例：

• 监管机构可以确认推理确实由指定硬件提供，从而支撑 AI 节奏管控规则。
• 实验室可以检测被篡改的推理服务器。
• 用户可以验证文本来源。
• 监管机构可以强制只提供经批准的模型。

FlashProve 如何工作？

FlashProve 包含证明方（模型提供方）和验证方（用户）。它分 2 个阶段运行：

• 离线阶段：提供方发布一个承诺，即一个简短的指纹，绑定某一组确切的权重。这大约需要 39 分钟，覆盖约 1600 万次请求。
• 在线阶段：对于每个请求，GPU 生成一个证明，表明是已承诺的模型生成了这些 token。

该证明系统使用哈希函数将交互式 oracle 证明编译为密码学证明。Anthropic 表示这能提供后量子安全性。它与 Starknet 等有效性证明 L2 网络使用的是同一类技术。

三项工程选择带来了速度提升。证明方的工作量随约 17B 激活参数扩展，而非全部 400B。请求在事后按批次进行证明，类似 prefill。权重从主机内存流式加载，因此单张 80 GB GPU 就足够。

速度如何？基准测试

Anthropic 在 1 张 H100 加 24 个 CPU 核心上，对公开的 4-bit Maverick 权重进行了测量。根据仓库中的性能指南：

• 批次 24：111.23 tokens/秒，每批约 221 至 226 秒。
• 批次 1：17.41 tokens/秒。批次 64：123.31 tokens/秒，但在 80 GB 显卡上被标记为不可靠。
• 证明大小：18.78 MB。客户端每个承诺只需下载约 6.5 MB 一次。
• 校验：24 线程下 17 秒，单线程下 21 秒。

与在 8 张 H100 上运行 FP8 Maverick 的 vLLM 相比，每批次的证明成本约为其 GPU 时间的 72 倍。在 vLLM 测试的最高负载下，差距约为 94 倍。

FlashProve 与其他 zkML 系统相比如何？

指标FlashProveAttestableVerInfDeepProvezkLLM 证明的模型Llama 4 Maverick (400B MoE)Gemma 4 31B (dense)Llama 4 Maverick (400B MoE)GPT-2, Gemma 3LLaMA-2-13B 吞吐量110 tok/s53 至 77 tok/s0.02 tok/s（1,000 tokens 用时 14.3 小时）~2.9 tok/s (GPT-2)，~1.4 tok/s (Gemma 3)完整推理不到 15 分钟 硬件1 张 H100 + 24 个 CPU 核心1 张 H1001 台 DGX Spark1 台机器；31 tok/s 分布式GPU (CUDA) 证明大小18.78 MB4.35 至 7.92 MiB93.6 GBNot disclosed200 kB 以下 校验时间17 秒（24 线程）157 至 648 ms17.7 小时（20 核心）1 至 3.7 秒Not disclosed 上下文1,024 tokens最高 16K tokens1,000 tokensNot disclosedNot disclosed 代码 / 许可证开源，Apache 2.0非开源开源，MIT由 Lagrange 开源论文（CCS 2024）

安全性如何校验？

密码学代码很脆弱，因此 Anthropic 用 Lean 对协议进行了形式化。它证明了完备性、可靠性和零知识性。README 指出，作弊的提供方会被抓住，除非概率约为 q/2^124 + 2^-101。

FlashProve 附带 2 个验证器。一个快速的 C++ 验证器供日常使用，但不带形式化保证。一个较慢的 Lean 验证器已被证明只接受可靠性定理所接受的内容。Anthropic 团队指出 Claude 帮助优化了该系统。

要点

• FlashProve 在 1 张 H100 上以约 110 tokens/秒的速度证明 400B MoE 模型。
• 证明大小为 18.78 MB，可在 CPU 上于 17 秒内完成校验。
• 证明所消耗的 GPU 时间约为 vLLM 推理的 70 至 95 倍。
• 安全属性已在 Lean 中形式化；权重保持隐藏。
• 目前仅支持 1,024 tokens、贪心解码和 MoE 模型。

查看研究文章、技术报告、协议规范和 GitHub 仓库。另外，欢迎在 Twitter 上关注我们，别忘了加入我们 15 万+ 的 ML SubReddit 并订阅我们的新闻通讯。等等！你在 Telegram 上吗？现在你也可以在 Telegram 上加入我们。

需要与我们合作推广你的 GitHub 仓库、Hugging Face 页面、产品发布、网络研讨会等？联系我们。

文章 Anthropic Releases FlashProve: Cryptographic Proofs That a Reply Came From Committed Weights 首发于 MarkTechPost。