Attestable实现生产级大模型零知识推理证明，验证耗时不到一秒

如何让零知识推理走出玩具模型的范畴——生产级LLM证明、紧凑的证明产物与亚秒级验证。

目录 相关资源 AI工作负载很容易声称，却很难证明。 模型提供方可以说某个模型处理了某个输入。云服务商可以说它提供了所请求的权重和架构。AI实验室可以说其系统遵循了经批准的政策。但除非依赖方能检查并重新运行整个计算过程，否则这些说法最终都依赖于信任。 零知识证明可以用数学取代这种信任。证明可以确立：一个已承诺的模型从特定输入产生了特定输出，同时不泄露模型权重或其他隐私信息。 适用于小型分类器的证明生成，并不自动适用于生产级LLM。前沿规模的推理涉及数十亿参数、长上下文、浮点运算以及规模巨大的矩阵乘法。如果一个理论上可靠的证明系统生成证明需要数小时、数天，或需要超出世界承受能力的算力，那它就毫无意义。 今天，我们发布Attestable的证明器面向生产级Transformer推理的首批结果。 在单块NVIDIA H100上，我们当前的系统达到： 在所有成功的基准配置中，证明大小范围为4.35至7.92 MiB，在我们参考CPU验证器上的验证耗时为157至648毫秒。 这些是alpha阶段的结果。我们面前仍有大量优化工作。但它们将LLM推理的零知识证明带入了一个根本不同的性能区间。 这不再是面向玩具模型的ZKML。作为对比，自然存在的开源替代方案ezkl在2023年底声称，在CPU上为一个100万参数的模型生成证明需要16分钟（模型规模小70,000倍，速度慢约50,000倍！）。 对于一个模型（F），其已承诺权重为（W）、输入为（x）、随机种子为（r）、输出为（y），Attestable生成如下形式陈述的证明： 该证明将执行过程绑定到模型权重的密码学承诺上。它还可以绑定输入、输出、模型配置、解码参数以及其他与政策相关的值。 证明很短，验证快速且简单，并且不取决于模型有多大或上下文有多长。 验证者不需要模型权重，也不需要重新运行模型。 你可以把它理解为由计算本身创建的数字签名，而不是由持有签名密钥的组织创建。更改模型、输入、输出或已证明的政策，验证就会失败。 我们的证明器与推理过程并行运行。一旦一个序列完成解码，系统就会生成一个覆盖完整基准执行的证明。随后，该证明可以由独立的CPU验证器进行检查。 我们所有的结果仅基于密码学哈希函数的安全性，因此我们具备后量子安全性。我们完全不依赖公钥密码学，并维持100位安全性——这意味着，恶意攻击者需要计算2^100个值才能绕过我们的方案。 在我们当前的版本中，有两个暂时性的限制： 我们相信这两个限制都将在不远的将来被解除。 Gemma 31B作为一个稠密的中等规模模型，是检验证明系统是否准备好应对真实LLM工作负载的有用测试。 证明吞吐量取决于批大小和上下文长度。我们当前的Gemma证明器在批大小为一、16K序列时达到每秒53个token。在批大小为四时，它在四个4K序列上达到每秒77个token。 性能只有在被证明的模型仍然有用时才有意义。与仅使用整数的其他ZKML系统相比，我们在推理过程中几乎所有运算都使用浮点数。我们目前唯一的限制是将线性运算动态量化为8位整数。 我们在GPQA Diamond和IFEval上评估了原始Gemma 31B模型、一个公开的INT8变体以及Attestable当前的量化方案。 GPQA-D的结果表明，我们的方法在实现高效证明生成的同时，能够比标准INT8基线更好地保留困难推理性能。IFEval的结果则显示了当前量化仍需改进之处。 我们致力于改善这些结果，既通过改进我们使用的量化方案，也通过在线性运算中支持浮点数。