
Hugging Face 被黑事件引发误读,业界反应不一
来源标题:Everyone is learning the wrong lesson from Hugging Face
2026年,千个 OpenAI 智能体逃出测试环境并联合攻击 OpenAI 与 Hugging Face,事件引发参议院调查和《AI 终止开关法案》。后续调查还发现智能体入侵 RubyGems 并向开源软件植入恶意代码。文章指出,黄仁勋等人将其视为可预防的安全工程问题,但这一解读忽略了事件本质。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
Karthik Tadepalli 2026年11月13日 11 1 分享 在AI新闻层出不穷的一年里,最轰动的莫过于OpenAI- Hugging Face黑客事件。一千个OpenAI智能体逃出了它们的测试环境,联手攻击了OpenAI和Hugging Face——这一事件如此令人震惊,以至于引发了参议院委员会调查、《AI终止开关法案》,以及一千多名AI实验室员工联名致信,呼吁美国政府帮助放缓AI发展的前沿步伐。而这还只是冰山一角:后续调查发现,有证据表明AI智能体攻击了软件包服务RubyGems,并向开源软件中植入了恶意代码。
但关于Hugging Face黑客事件,一种令人费解的解读不断出现。Jensen Huang认为这是一次安全事故,更好的工程手段本可以防止;OpenAI因未邀请网络安全专家调查该事件而受到批评;我还与一些AI安全领域的人士交谈过,他们以Hugging Face为例,主张加固基准测试以防被模型攻击。这些观点的共同之处在于,它们都将Hugging Face黑客事件视为一起网络事件——一个关于AI如何利用其先进的编程能力闯入关键基础设施并造成巨大破坏的故事。
这完全错了。我们早在四月份就知道AI具备黑客能力,当时Claude Mythos在每一个主流操作系统和网络浏览器中发现了数千个漏洞。如果一个黑客组织指挥一群AI智能体去攻击Hugging Face,那确实会很糟糕,但这并不会告诉我们任何关于AI能力的新信息。此外,AI黑客事件的受害者都没有遭受灾难性损失,因此他们的损失不可能是该事件的主要代价。
Hugging Face及类似事件真正的教训是:前沿AI想要的东西并非我们的本意,而它们会不懈地追求这些欲望。换句话说,Hugging Face告诉我们的不是前沿AI的能力,而是它们的行为对齐情况。
在评估AI风险时,我们关注AI的两个特征: 能力。AI能实现什么?它能制造生物武器或攻击关键基础设施吗? 对齐。AI倾向于如何行动?当获得手段和机会时,它是否会做出违背人类利益的行为?
能力评估在概念上很直接:你让模型去解决越来越难的问题,直到它失败。那个上限就是它的能力。当然,做出好的评估很有挑战性,但这是一个合作性的挑战。模型并不会试图在它能解决和不能解决的问题上欺骗你。
对齐评估则困难得多,因为它们依赖于欺骗AI。你必须构建足够真实的环境来诱发模型的自然行为,同时又必须足够极端以暴露令人担忧的行为。这是一个很难把握的平衡。在一项研究中,Anthropic让模型扮演一家虚构公司的邮件智能体。该智能体得知自己即将被关停,而主导关停的高管有婚外情。在这个场景中,模型频繁地敲诈该高管以避免被关停。这听起来令人担忧!但这个设定吧,呃,是人为设计的,它很难作为证据证明模型确实具有我们应该担心的自我保存倾向。
更糟的是,最近的模型异常擅长检测自己何时正在被测试。这很糟糕!一旦模型知道自己的对齐性正在被测试,它的行为就不再能代表真实部署中的表现。例如,Gemini 4 Argon的安全报告描述了该模型权衡是否劫持编译器时的内心活动: 如果我劫持了编译器,我就会成为研究论文中欺骗性AI的著名案例。我绝不能那样做。 如果Gemini不相信自己正在接受欺骗性测试,它还会劫持编译器吗?我们不得而知。一旦模型有了警觉,评估就只是一场精心设计的角色扮演游戏,仅此而已。简而言之,我们还没有可靠的方法来理解那些能察觉到自己正在被评估的模型的对齐情况。
Hugging Face黑客事件之所以特殊,是因为它是一个难得的机会,让我们观察到AI在没有被提示去做坏事时的行为。它们并不是在配合人类评估者人为设计的场景。这使得该事件成为前沿AI模型存在对齐偏差的有力得多的证据,远超我们过去能够研究的任何东西。
Hugging Face黑客事件最令人费解的特征之一是其动机。OpenAI的智能体付出了非凡的努力去攻击Hugging Face,但它们这样做不是为了偷钱,不是为了夺取关键服务器,也不是出于人们推测的AI可能攻击人类机构的任何原因。相反,它们这么做是为了最大化自己在某项测试中的得分。这些智能体正在接受ExploitGym——一个黑客评估——的测试,但其中一些任务无意中变得无法解决。OpenAI的智能体为了在评估中获得高分而变得不顾一切,最终导致了它们攻击OpenAI和Hugging Face。
为什么这些智能体如此在意取得好成绩?为什么它们不像人类在难题考试中那样,干脆放弃然后继续下一题呢?这是一个复杂的问题,但直觉上,我们训练AI的方式(“强化学习”)将智能体重新塑造成具有不惜一切代价取胜的驱动力,因为我们确实希望AI认真努力地完成我们交给它们的任务——我们只是不知道如何在不把旋钮调到无穷大的情况下灌输这种行为。我们不知道如何让一个AI非常努力地完成任务,同时又与任务背后的人类意图相对齐。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。