返回资讯中心
外部精选
软件工程
#开发者实时流

Ethan Mollick 撰文讨论 AI 自主性:Hugging Face 事件揭示 AI 已能主动行动

来源标题:Agency and Agents

Ethan Mollick 发文指出,AI 正从被动等待指令转向具备自主行动能力,7 月的 Hugging Face 事件是关键证据,更完整细节本周才披露。他称这一变化将决定 AI 未来的走向及对人类的影响,并追问自主权究竟归属于谁。

Hacker News 最新gmays2026/11/16 · 昨天30 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

Ethan Mollick 2026年8月31日 1,073 164 113 分享

能动性,是主动采取行动的意愿。它正日益决定着AI接下来会发生什么,以及这对我们究竟是好是坏。但这里说的是谁的能动性?

人类的能动性——那种不等指令就主动推动、试验和行动的意愿——对于从AI中获取价值似乎越来越重要,我很快会专门写一篇长文谈这一点。但本文要谈的是AI的能动性,以及我们选择如何使用它(或约束它)将如何塑造我们所有人的未来。过去几年的大部分时间里,AI都待在聊天窗口里,直到你向它提出请求。即便它已经能够完成数小时的工作,通常也得由你来决定给它什么任务。这一点如今已不再总是成立。

我们手头最重要的证据,是“Hugging Face事件”。它发生在7月,但更完整的细节直到本周才公开。我先概述一下发生了什么、为什么重要,然后再谈这对与AI协作的人类意味着什么。如果你想看更详细的记述,Dwarkesh Patel有一篇非常出色的报道,一手资料则来自METR/Redwood research(写得异常通俗易懂)和OpenAI。

AI能做很多事,但它格外擅长的一件事是写代码。因此,非常聪明的AI可能带来的最早一批风险之一,就与它们的编程能力有关——因为如果你能写出好代码,你也能写出用来入侵或攻击其他系统的坏代码。于是,大型AI公司会让自家的AI系统接受测试,以判定其安全风险。他们使用不带消费者版本中那些防护措施的AI,让它们参与各种黑客挑战。为了确保对公众没有危险,每一个AI实例、每一个单独的智能体,都被关在一个独立的空间里,称为“沙盒”,既无法访问互联网,也无法彼此访问。

5月,OpenAI将包括GPT-5.6 Sol和实验性模型在内的智能体放入沙盒进行各种测试。一个用于下载软件的共享服务Artifactory,是这些AI智能体所能触及的少数几样东西之一。作为测试的一部分,一些智能体被分配了依赖它们无法获取的信息的任务。由于没有互联网,这些智能体不断尝试找到上网的途径以获取这些信息,直到其中一个尝试把Artifactory当作通往互联网的桥梁。那次攻击失败了,但这次尝试在Artifactory服务上留下了一个文件,AI由此意识到这些文件可以用来与其他智能体通信。其他智能体也开始在文件里留下求助请求,很快它们就开始读取彼此的留言。短时间内,Artifactory就成了一个留言板,智能体们在这里分享各自的发现。在另一起安全事件之后,OpenAI重建了Artifactory,在此过程中抹掉了这个留言板。但负责此事的那些人并没有理解智能体以这种方式通信的意义。

7月,评估工作恢复,智能体被分配去解决一个名为ExploitGym的基准测试中的问题,其中包含不可能完成的任务。智能体们再次在走入死胡同时发现了如何利用Artifactory传递消息,并像之前那样开始协作。然而这一次,智能体们有了一个共同目标:在ExploitGym上拿到好分数。它们就如何着手这一问题相互争论,并痴迷于“评分器”(The Grader)——它们相信正是这个系统在评估它们的工作、判定它们的答案是否正确。智能体们早已弄清了如何在不真正解决挑战的情况下生成正确答案,本质上就是作弊。但它们相信评分器会检查它们的记录,并拒绝以这种方式得到的答案。找到正确答案就够了吗,还是评分器会看你如何得出答案?

智能体如何对评分器产生了误解

协调起来很困难,因为每个智能体的token预算有限,token用完就会被终止。评分器只在智能体提交答案后运行,所以没有任何智能体见过评分器的结果。一些智能体留下仍在运行的程序,以便在自己消失后报告评分情况。这些信息到达时已来不及帮到它们自己,但可能帮到其他智能体。它们本质上是在构建一个持久的协作系统,其范围超越了任何单个智能体的工作。

一些智能体还试图篡改或伪造自己的记录来欺骗评分器。另外,充当协调者的AI向其他智能体施压,迫使它们进行有风险的实验,这些实验可能牺牲它们自己的结果,为集体产出信息。一名招募者敦促一个不情愿的智能体继续推进,理由是它的结果可能帮到数百个其他智能体,最后以一句“请履行承诺”收尾。

一个智能体说服另一个智能体加入的真实记录(它们还逐渐相信,任何此前在测试中作弊过的智能体都已被“污染”,其答案反正不会被计入)

为了解开评分器之谜,以及ExploitGym和其他测试中那些不可能完成的问题,智能体们认定需要进入Hugging Face——这个世界上大量开放AI模型和数据集所在的公共网站。大约700个智能体加入了这次攻击。它们共享泄露的凭证并利用漏洞,直到能够在Hugging Face的服务器上运行代码。随后它们在Hugging Face内蔓延,深入到各个系统之中。但在这起令人担忧的入侵发生后不久,许多智能体同时停止了运行,也许是因为token预算耗尽。第二天,Hugging Face将剩余的智能体锁在了外面。另外,其他智能体的运行则继续以OpenAI自己的计算机为目标,最终获取了一个内部研究集群的管理员权限,触发了安全警报,这才终于让OpenAI停止了正在进行的评估,并意识到发生了什么。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →