
研究估算FlashProve在H100上吞吐上限约2800 token/秒
来源标题:How Fast Can FlashProve Go?
研究估算,在不改动协议的前提下,FlashProve在单块H100上的吞吐量上限约为每秒2800个token,前提是BLAKE2b哈希内核不比hashcat快太多。作者称这是其认为站得住脚的最紧上界,但真实极限可能远低于此。FlashProve是面向LLM推理的ZK-SNARK,证明Llama 4 Maverick时预填充约为每H100每秒123个token。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
Tldr:我估计,在不改变协议的前提下,FlashProve 的吞吐量上限约为每块 H100 每秒 2800 个 token,除非能出现比 hashcat 快得多的 BLAKE2b¹¹FlashProve 承诺所用的哈希函数。内核。这是我所能找到的最严格、也最站得住脚的上界,但真实上限很可能低得多。如果你想更深入地了解 FlashProve 的内部工作原理,或者只是喜欢性能建模,这篇分析或许会让你感兴趣。
FlashProve 是用于 LLM 推理的最先进 ZK-SNARK。²²由 Giacomo Fenzi、Guy Weissenberg、Miranda Christ、Rahul Dalal、Alessandro Chiesa、Roy Rinberg、Alex Allain、本人,当然还有 Claude 共同构建。本文中的观点和估计(以及任何错误)仅代表我个人。FlashProve 很快,在证明 Llama 4 Maverick 时,每块 H100 每秒可处理约 123 个 prefill token³³每批 64 个请求。更多基准测试见此处。,并且比之前的开源工作快了数个数量级。FlashProve 的速度来自两个层面的改进:协议层面(例如 ZOOK 隐藏方案、跨多个证明的批处理)和实现层面(高效内核)。
我公开说过,我认为仍有大量提速空间。这些空间既来自协议改进,也来自实现改进。在协议层面,我预计 LLM 会加速 SNARK 协议背后数学基础的研究⁴⁴例如通过更强的 proximity gap 结果,以及利用不同数学分支中的结构来加速 SNARK。,并能通过进一步将协议的构建模块专门化到推理上来获得收益。在实现层面,我们已经能看到,随着每一代的发展,LLM 在优化内核和爬升吞吐量基准方面越来越擅长。
那么一个有趣的问题是:仅靠实现改进,我们能获得多少进展。如果还有很大空间,我们可能不必在协议研究上投入太多;但如果我们已经接近天花板,那就强烈说明我们应该研究更好的协议,而不是试图从当前协议中榨出更多性能。⁵⁵注意,我把参数变化(例如用证明大小换取速度)也算作协议变化。在本文中,我将尝试给出 FlashProve 协议在每块 H100 每秒 token 数上的性能上界,假设协议固定,并且其构建模块(如 NTT 和哈希函数)的最已知算法已经达到最优。⁶⁶鉴于 TCS 近来的状况,这个假设可能并不像看起来那么安全,但没有它,我们根本无法推理上界……
注:我假设你熟悉我之前的文章《ZK-SNARKs from the Ground Up》。一般性的 SNARK 知识应该就够了,不过我会使用自己偏好的术语和记号,可能与文献中的惯例略有不同。
我想先概述 FlashProve 的工作原理,以便我们在后续分析中引用这些部分。回想一下,我们要证明的是 Llama 4 Maverick,它看起来是这样的:
每一层都在残差上做标准的 GQA 注意力,然后接一个前馈块,每个块前面都有一个归一化(RMSNorm),周围还有一条残差连接。各层交替使用稠密(单个 MLP)和稀疏(128 专家 MoE)前馈块,除此之外完全相同。为了紧凑,我把注意力和归一化画成了单个块,但当然,我们最终会通过把它们拆解成构成操作(QKV 投影、softmax 等)来证明它们。
然而,FlashProve 证明的不是“普通”的 Llama 4 Maverick。它证明的是使用定点算术的整数量化版本。这意味着每个乘积之后都必须重新缩放,许多结果还会被截断⁷⁷如果你不熟悉定点算术,可以看 Wikipedia 了解原因和方式。,这两者都是非多项式操作。我们很快就会看到,这些操作绝不是免费的。
让我们放大稠密层,因为它们更简单,并看看包含所有定点机制后的版本:
好,那么我们要如何证明:给定某个输入残差 x 和已承诺的权重,我们产生了正确的输出残差 x′′?在高层次上,我们会使用《ZK-SNARKs from the Ground Up》中的 sum-check 机制,不过不完全是 GKR。证明者不是从输出开始逐层倒推,而是在进行过程中几乎对每个中间值都做出承诺,sum-check 将每个多项式操作归约为关于这些承诺值和权重的声明,我们可以通过打开来验证。对于非多项式操作,例如 SiLU、归一化、截断等,我们必须对其输出做出承诺,并使用 lookup 来证明它们是正确的。
下面是我们图的一个更新版本,显示了哪些操作将通过 sum-check()来证明,哪些需要 lookup()。所有 sum-check 和 lookup 最终都会归结为关于已承诺表的线性声明。⁸⁸协议中的检查(例如 lookup 检查其两个乘积相等)由于隐藏方案也会变成关于已承诺表的声明。
注:MoE 层完全相同,只是我们必须证明路由计算和专家选择(每个 token 会进入 128 个路由专家之一,外加每个 token 都会使用的共享专家),然后运行这些 MLP。模型的输出头和嵌入步骤还有一些额外的复杂性,但我们在这里基本会忽略它们。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。