返回资讯中心
外部精选
软件工程
#社区热议

Anthropic员工警告AI或致人类灭绝,CEO公开认同

来源标题:The AI Superintelligence Debate Has Serious Flaws

Anthropic研究员Jacob Coxon辞职警告称,Anthropic与OpenAI正竞相开发自我改进的超智能,拿人类生命冒险;Anthropic对齐科学负责人Evan Hubinger和CEO Dario Amodei均公开表示认同其担忧。这些担忧源于递归自我改进(RSI)理论:一旦AI能自我升级,可能触发失控循环,最终形成远超人类认知能力、难以控制的人工超级智能(ASI)。

Hacker Newsrbanffy2026/11/19 · 今天30 分钟阅读

以下正文由 AI 翻译自 Hacker News(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

然而,追求它仍可能带来灾难性后果。

去年夏天,当全球顶尖AI公司之一员工开始随口讨论自家产品是否会导致人类灭绝时,许多人都措手不及。事情始于Anthropic研究员Jacob Coxon宣布辞职,警告其雇主和OpenAI正“径直冲向自我改进的超级智能,拿我们的生命赌博”。Anthropic对齐科学负责人Evan Hubinger回应:“Jacob说得对——我们确实真心相信AI可能杀死全人类!”Anthropic CEO Dario Amodei随后对CNN表示:“我同意Jacob的程度远大于不同意。”

这些担忧源于一个在未来主义者圈子里流传了几十年的信念:一旦工程师设计出能够自我改进的AI系统,就会触发一个加速的自主升级循环,即递归自我改进(RSI)。其结果将是人工超级智能(ASI)——一种认知能力远超人类、能轻易摆脱我们控制、甚至可能灭绝人类的系统。需要指出的是,人工超级智能远比人工通用智能(AGI)更为雄心勃勃,后者通常指能在广泛认知任务上达到人类水平的AI。

这些观点引发了不同反应。有人主张,ASI概念被用于营销,或用于推动有利于现有实验室打压新竞争者的监管。有人关注这类系统杀死全人类的合理性,争论AI设计超级病毒等具体场景的细节。还有人声称,让ASI对齐人类利益是可行的,因此我们应加速迈入这一数字乌托邦。

在这些讨论中,有一个问题受到的关注相对较少:从工程角度看,超级智能究竟是否可能?答案很重要,因为它能帮助我们校准焦虑,并对这一新兴技术制定最有效的应对措施。

我最近在华盛顿特区乔治城大学主持的一场计算机科学博士研讨会上探讨了这一话题,我和学生审视了超级智能叙事的技术与文化根源。(感兴趣的读者可参阅我们发布的课程阅读注释书目。)我从中得出了若干反对ASI可行性的关键论点,详见下文;此外还有一种更深的担忧:即使所承诺的智能爆炸永远不会到来,追求它仍可能造成真实伤害。

RSI是一个旧概念。统计学家I.J. Good在1965年的一篇论文中推测,AI自我改进的快速循环可能导致“智能爆炸”。这一想法在1990年代被湾区未来主义者团体Extropians推广,它提供了一种讨论ASI的方式,而无需涉及如何建造此类系统的工程细节。Eliezer Yudkowsky(后来创立理性主义运动)和Nick Bostrom(曾推动有效利他主义更多关注人类生存风险)等知名人物都采纳了这一概念。

然而近来,在Anthropic(Claude的开发者)和OpenAI(ChatGPT的开发者)内部,这一话题已从思想实验转向实际工程。在六月一篇题为“当AI构建自身”的博客文章中,Anthropic描述了LLM驱动的代理如何加速代码的编写、调试和优化,并自动化运行实验、记录结果等研究环节。报告总结称,公司内部数据“表明AI已经在加速AI系统的开发”。OpenAI也明确表达了类似意图;在九月的一份报告中,该公司宣布了到2028年3月开发出自动化研究员的目标。

但这些努力是否让这些公司走上通往不可控RSI的轨道?若干障碍削弱了这一说法。先看改进AI系统所需数据的可得性。截至2023年,LLM的重大进展来自扩大模型规模。最初的GPT-1有1.17亿参数(训练中学到的、决定神经网络处理信息方式的数值)。这一数字跃升至GPT-2的15亿、GPT-3的1750亿,三年前发布的GPT-4则(很可能)超过一万亿。然而在GPT-4之后,持续扩展开始产生递减回报。这促使工程师越来越多地将注意力转向“后训练”阶段,即应用强化学习技术提升已训练模型在特定任务上的表现。这种方法奖励模型产出成功回答,帮助其在未来更好地产生类似答案。但它需要大量相关输入与正确输出配对的示例。

在计算机编程和数学等高度结构化的领域,此类数据集相对容易生成,这有助于解释为何我们在这些狭窄领域看到了快速而令人印象深刻的进展。在难以获得此类训练数据的领域,进展则不那么显著。这或许能解释为何AI能攻克高深定理,却难以清空收件箱。“如果崎岖前沿主要是数学+代码(你可以用[强化学习技术]任意推进),”法国AI研究员François Chollet最近推测,“而其他一切开始停滞,因为它仍受限于人类生成的数据,那会怎样?”自动化编码代理和LLM驱动研究员的部署并不会克服这一根本限制。

一个几十年前的思想实验如何成为AI行业的野心——以及它可能走向何方

• 技术进步:一项科学或工程发展

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →