返回资讯中心
外部精选
软件工程
#社区热议

Anthropic等研究者发布FlashProve,用密码学证明大模型推理来源

来源标题:Progress on provable inference for large language models

Anthropic联合EPFL、MIT等机构研究者提出FlashProve系统,通过密码学证明让模型提供方对所用模型作出承诺并证明推理来源。该研究旨在解决用户无法验证响应是否来自开发者声称的特定模型的问题,防止服务方暗中替换模型或攻击者篡改输出。目前相关技术报告已发布。

Hacker Newsltononro2026/11/4 · 13 天前30 分钟阅读

以下正文由 AI 翻译自 Hacker News(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

大型语言模型可证明推理的进展 阅读技术报告 01执行摘要 02引言 03 AI普及带来的信任挑战 04我们的系统:FlashProve 05形式化验证带来的可信性 06既往工作 07局限性 已发布 Roy Rinberg (Anthropic)、Alex Allain (Anthropic);Alessandro Chiesa (EPFL, StarkWare)、Miranda Christ (MIT, RESI)、Rahul Dalal (Anthropic STEM Fellows Program, Succinct)、Giacomo Fenzi (EPFL)、Ben Mayer (Anthropic Fellows Program, MIT)、Guy Weissenberg (EPFL)

当你与朋友面对面交谈时,有很多方式可以确认对方确实是本人:你能看到他们、听到他们、与他们握手。而当你与AI模型对话时,你几乎没有任何这样的手段。如今,向模型发起查询的用户无法核实响应究竟来自开发者声称的那个特定模型,还是被路由服务出于成本考虑暗中替换成了别的模型,甚至是攻击者篡改了token流。仅凭模型的输出进行判断并不可靠,即便它产出的回答质量很高。推理的密码学证明可以解决这个问题:它让模型提供方对某个模型作出承诺,然后证明每一条响应都是由该模型生成的。这类证明可以支撑从消费级产品到内部安全的各种应用,并有助于构建一套用于验证是否符合AI发展节奏要求的工具包。

具体来说,我们在一类被称为“zkSNARK”的强大密码学证明上取得了进展,它独特地适合可证明推理(得益于其强大的隐藏性和高效性)。在本文中,我们分享其中部分进展,主要通过一个我们称之为FlashProve的系统来呈现。简要的技术总结如下:

我们以Apache 2.0许可证发布我们的代码、Lean证明和文档。1 这篇研究文章旨在分享阶段性进展,而非一份已完成的研究议程。我们明确分享这些内容,是希望其他人审视我们的工作、加以采用并改进它。

当用户向AI模型发送请求时,如今他们无法确切知道所选择的模型就是生成响应的那个模型。在日常使用中,用户大多关心输出本身,而不一定关心是哪个具体模型产生的,因此这个问题不那么紧迫。但在若干场景下,这种保证会很有用。例如,在模型发布前后对其进行测试的独立评估者,需要知道他们评估的模型就是实际提供服务的模型。通过第三方路由服务使用模型的客户,希望得到保证:这些token来自他们付费购买的模型。而如果网络攻击者冒充某个模型篡改了token流,用户仅凭输出是无法察觉的。

然而,实现模型响应的验证颇具挑战。大多数前沿模型的权重是保密的,而且即便用户能访问权重,要检查某条响应是否由拥有这些权重的模型生成,也需要运行该模型,这所需的计算资源远超普通用户(甚至评估者)所能承受。

可证明推理(PI)的目标是让计算资源有限、且对权重一无所知的用户能够验证某条响应确实来自所请求的模型。PI的动机既来自提升客户对AI提供方信任的愿望,也—由于它可用于向独立评估者提供保证,并让提供方证明自己符合某些承诺和法律义务—对把握AI发展前沿的节奏以及AI监管也有意义。

实现PI的一种方式是通过一种称为零知识简洁论证的密码学对象:模型提供方在发送所声称的响应的同时,附上一份简短的证明(比如几兆字节),用户可以快速验证(理想情况下,在CPU上几秒内完成)。如果所声称的响应偏离了指定模型,用户的校验就会失败。重要的是,密码学技术确保该证明不会泄露任何关于模型权重的信息。

今天我们发布FlashProve:一个开源的高性能可证明推理原型。针对一个400B参数的混合专家模型(Llama 4 Maverick,4-bit量化),我们展示单块H100 GPU能以超过100 tokens/秒的速度生成证明,每1,024-token请求的证明大小约为19 MB(约为vLLM—一个常用的开源库—处理同样长度提示所需GPU时间的70-95倍)。

此次发布包含可执行代码、Lean形式化以及协议的技術描述。我们的目标有二:(i) 加速并促进可证明推理的发展;(ii) 证明零知识简洁论证在可证明推理中是实用的。

我们相信这一进展对安全、把握AI发展节奏、为AI客户提供完整性保证、促进审计和监管工具等方面都有重要意义。

人工智能的发展及其在数字基础设施和经济中日益重要的作用,带来了AI提供方必须回应的信任挑战。借助可证明推理(PI)工具,有助于应对这些及其他挑战。

PI工具包括硬件方法、软件方法,或两者的结合。在这里,我们聚焦于纯软件方法:一种称为“zkSNARK”(零知识简洁知识论证)的密码学工具。通俗地说,zkSNARK是一种系统,允许证明者通过一份简短的“证书”让验证者相信某个给定计算被正确执行;关键在于,该证书是零知识的,即除了计算正确性所隐含的信息外不泄露任何信息;同时它是简洁的,即验证它比验证所证明的计算要快指数级。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →