Anthropic 研发 FlashProve 系统，可验证 AI 模型身份
来源标题：Anthropic is working on a system to prove AI models’ identity
Anthropic 正在开发开源系统 FlashProve，通过密码学证明验证某段输出确实来自所声称的 AI 模型。该系统可防止模型冒充，包括 AI 公司暗中换用更便宜或更贵的模型。它还可用于核实第三方声称某项任务由特定高级模型完成的说法。
以下正文由 AI 翻译自 TechCrunch（原文版权归原站所有），可能存在偏差，重要内容请以原文为准。
Anthropic正在开发一套开源系统，用于验证某段输出究竟由哪个AI模型生成，该公司在周二发布的一篇博客文章中披露了这一消息。这套系统名为FlashProve，旨在提供研究者所称的“可证明推理”——即一种密码学证明，本质上是一种数学保证，证明某段输出确实来自某个特定模型。其目的是让用户能够确认所收到的回答确实来自他们认为正在使用的模型。
类似于密码学邮件签名让收件人能够确认邮件确实来自其声称的发件人，FlashProve能够有效抵御试图将某个模型伪装成另一个模型的冒名者，即便冒名者是构建和运行该模型的实验室本身也不例外。研究人员特别指出，该系统可用于防止AI公司偷偷换入更便宜的模型以削减成本，或换入更昂贵的模型以夸大其性能表现。
FlashProve还可用于验证第三方关于某项任务由某个先进模型完成的说辞。“开发者可能声称其软件库已由某个前沿网络安全模型进行了漏洞扫描，或者某公司可能声称其商业计划已获得某个合适模型的批准，”研究人员写道。“用户如何验证这些说法？”
该系统要发挥作用，需要AI实验室为其发布的每个模型公布一个“指纹”，该指纹随后可与特定输出进行匹配并通过密码学方式验证。关键在于，指纹不会暴露模型的权重——即定义模型行为方式的内部数值，也是Anthropic和OpenAI等闭源模型厂商严格保密的核心资产。这意味着实验室可以在不放弃其最有价值资产的情况下发布指纹，从而使该系统也能适用于商业模型。该系统还被设计为轻量级，因此验证可以在本地设备上完成。
作为公告的一部分，研究人员发布了详细的技术规范以及系统各组成部分的可运行代码，已在GitHub上以开源许可证公开。该系统仍在研究当中，目前没有在Anthropic或任何其他实验室部署的计划。
“这篇研究文章旨在分享阶段性进展，而非一份已完成的研究议程，”研究人员在公告中解释道。“我们公开分享这些内容，明确希望其他人能审视我们的工作，采纳它并加以改进。”
当您通过我们文章中的链接进行购买时，我们可能会赚取少量佣金。这不会影响我们的编辑独立性。
11月4日 波士顿 买一赠一 带上您的联合创始人或合作伙伴免费参加TechCrunch年度终极创始人训练营，覆盖更多内容 在买一赠一优惠到期前预订 Anthropic警告其已非常接近RSI能力，即自我构建AI Julie Bort 《纽约时报》等媒体起诉浏览器Brave涉嫌内容抓取 Rebecca Bellan 据FT报道，Anthropic IPO后预计将获得信用机构的高“垃圾”评级 Lucas Ropek 谷歌首颗数据中心卫星已上线并能写诗 Tim Fernholz 币安暂停提现，黑客涉嫌窃取数十亿美元加密货币 Zack Whittaker 随着搜索流量枯竭，Reddit宣布转向登录体验 Sarah Perez AI高管可能过于脱离实际，难以面向大众打造产品 Amanda Silberling
正文由 探How 从来源站点 RSS 同步，内容未经改写；遇到排版缺失或需要图片、视频时请以原文为准。