返回资讯中心
外部精选
软件工程
#开发者实时流

Anthropic 等机构提出 FlashProve 系统,推动大模型推理可证明

来源标题:Provable Inference

Anthropic 联合 EPFL、MIT 等机构的研究者发布 FlashProve 系统,旨在为大语言模型推理提供密码学证明,使用户能验证响应确实来自声称的模型。该报告指出,当前用户仅凭输出无法判断模型是否被路由服务秘密替换或遭攻击者篡改,而推理证明可解决这一问题。报告同时列出了该系统的局限性。

Hacker News 最新mildog82026/11/3 · 14 天前30 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

大语言模型可证明推理的进展 阅读技术报告 01 执行摘要 02 引言 03 AI 普及中的信任挑战 04 我们的系统:FlashProve 05 形式化验证带来的可信性 06 先前工作 07 局限性 已发布 Roy Rinberg(Anthropic)、Alex Allain(Anthropic);Alessandro Chiesa(EPFL、StarkWare)、Miranda Christ(MIT、RESI)、Rahul Dalal(Anthropic STEM Fellows Program、Succinct)、Giacomo Fenzi(EPFL)、Ben Mayer(Anthropic Fellows Program、MIT)、Guy Weissenberg(EPFL)

当你当面与朋友交谈时,有很多方式可以确认对方真的是他:你能看到他、听到他、和他握手。而当你与 AI 模型对话时,这些手段几乎都没有。如今,用户向模型发起查询时,无法核实响应是否来自开发者所声称的那个特定模型,而不是路由服务为节省成本而暗中替换的另一个模型,甚至也不是被攻击者篡改过的 token 流。仅凭模型的输出进行判断并不可靠,即使它给出的回答质量很高。推理的密码学证明可以解决这个问题:它让模型提供方对某个模型作出承诺,然后证明每个响应都是由该模型生成的。这类证明可以支撑从消费级产品到内部安全的各种应用,并有助于构建一套用于验证 AI 发展节奏合规性的工具集。

具体而言,我们在一种被称为“zkSNARK”的强大密码学证明上取得了进展,它独特地适合可证明推理(得益于其强大的隐藏性和高效性)。在这篇文章中,我们分享其中的部分进展,主要通过一个我们称为 FlashProve 的系统来呈现。简要的技术总结如下:

我们以 Apache 2.0 许可证发布代码、Lean 证明和文档。¹ 这篇研究文章旨在分享阶段性进展,而非一份已完成的研究议程。我们明确分享这些内容,目的是希望其他人查看我们的工作、加以采用并改进它。

当用户向 AI 模型发送请求时,如今他们无法确定自己所选的模型就是生成响应的那个模型。对于日常使用而言,用户大多关心输出本身,而不一定关心是哪个具体模型产生的,因此这个问题不那么紧迫。但在若干场景中,这种保证会很有用。例如,在发布前后测试 AI 模型的独立评估者需要知道,他们评估的模型就是实际提供服务的模型。通过第三方路由服务使用模型的客户希望得到保证:这些 token 来自他们付费购买的模型。而如果网络攻击者冒充某个给定模型并篡改 token 流,用户仅凭输出无法察觉。

然而,实现模型响应的验证颇具挑战。大多数前沿模型的权重是保密的;即使使用者能访问权重,要检查某个给定响应是否由拥有这些权重的模型生成,也需要运行该模型,而这所需的计算资源远远超出一个普通用户(甚至评估者)所能承受的范围。

可证明推理(PI)的目标是让计算资源有限、且对权重一无所知的用户能够验证某个响应确实来自所请求的模型。PI 的动机既包括提升客户对 AI 提供方的信任,也因为它可以为独立评估者提供保证,并让提供方证明自己满足某些承诺和法律义务——因此它也对把握 AI 发展前沿的节奏以及 AI 监管具有意义。

实现 PI 的一种方式是通过一种称为零知识简洁论证的密码学对象:模型提供方在发送所声称的响应的同时,附上一个简短证明(比如几兆字节),用户可以快速验证它(理想情况下在 CPU 上几秒内完成)。如果所声称的响应偏离了指定模型,用户的校验就会失败。重要的是,密码学技术确保该证明不会泄露任何关于模型权重的信息。

今天,我们发布 FlashProve:一个开源的高性能可证明推理原型。对于一个 400B 参数的混合专家模型(Llama 4 Maverick,4-bit 量化),我们展示单块 H100 GPU 能以超过 100 tokens/秒的速度生成证明,每 1,024-token 请求的证明大小约为 19 MB(约为 vLLM——一个常用开源库——处理同样长度提示所需 GPU 时间的 70–95 倍)。

此次发布包含可执行代码、Lean 形式化以及协议的技术描述。我们的目标有二:(i)加速并促进可证明推理的发展;(ii)证明零知识简洁论证在可证明推理中是实用的。

我们相信,这一进展对安全性、把握 AI 发展节奏、为 AI 客户提供完整性保证、促进审计者和监管者所用工具等方面都具有重要意义。

人工智能的发展及其在我们数字基础设施和经济中日益重要的作用,带来了 AI 提供方必须回应的信任挑战。借助可证明推理(PI)工具,有助于应对这些及其他挑战。

PI 工具包括硬件方案、软件方案,或两者的结合。在这里,我们聚焦于纯软件方案:一种称为“zkSNARK”(零知识简洁知识论证)的密码学工具。通俗地说,zkSNARK 是一个系统,允许证明者通过一份简短的“证书”让验证者相信某个给定计算被正确执行;关键在于,该证书是零知识的,即除了计算正确性所隐含的信息外不泄露任何信息;同时它是简洁的,即验证它比验证被证明的计算本身要快指数级。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →