
Anthropic和OpenAI竞逐超级智能引发人类存亡担忧
来源标题:The AI Superintelligence Debate Has Serious Flaws
Anthropic研究员Jacob Coxon辞职警告称,其雇主与OpenAI正竞相开发自我改进的超级智能,可能危及人类生存。Anthropic对齐科学负责人Evan Hubinger和CEO Dario Amodei均公开表示认同这一担忧。这些忧虑源于递归自我改进(RSI)理论,认为AI一旦能自我升级,将迅速产生难以控制的人工超级智能。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
然而,追求它可能仍然会带来灾难性后果。
去年夏天,当全球领先AI公司之一的员工开始随口讨论他们的产品是否会导致人类灭绝时,许多人都措手不及。事情始于Anthropic研究员Jacob Coxon宣布辞职,警告他的雇主和OpenAI“正径直冲向自我改进的超级智能,拿我们的生命当赌注”。Anthropic对齐科学负责人Evan Hubinger回应道:“Jacob说得对——我们确实真心相信AI可能杀死全人类!”而Anthropic CEO Dario Amodei随后对CNN表示:“我同意Jacob的程度远大于我不同意他的程度。”
这些担忧源于一个在未来主义者圈子里流传了几十年的信念:一旦工程师设计出能够自我改进的AI系统,就会触发一个加速的自主升级循环,即所谓的递归自我改进(RSI)。其结果将是人工超级智能(ASI),一种认知能力远超人类的系统,它将轻易摆脱我们的控制,甚至可能消灭我们的物种。值得注意的是,人工超级智能是一个远比人工通用智能(AGI)更为宏大的目标,后者通常指能够在广泛认知任务上达到人类水平的AI。
这些想法引发了各种反应。一些人认为,ASI的概念被用于营销,或被用来推动有利于现有实验室打压新竞争者的监管。另一些人则聚焦于这类系统杀死我们所有人的可能性,争论AI设计的超级病毒等具体场景的细节。还有一些人声称,将ASI对齐人类利益是可行的,因此我们应该加速推进,迎接这个数字乌托邦。
在这些讨论中,有一个问题受到的关注相对较少:从工程角度来看,超级智能究竟是否可能?这个答案很重要,因为它能帮助我们校准焦虑,并针对这项新兴技术制定最有效的应对措施。
我最近在华盛顿特区乔治城大学讲授的一门计算机科学博士研讨课上探讨了这个话题,我和学生们审视了超级智能叙事的技术和文化根源。(感兴趣的话,我们发布了课程阅读材料的注释书目。)我从中得出了若干对ASI可行性的关键质疑——我将在下文详述——以及一种更深层的担忧:即使所承诺的智能爆炸永远不会到来,追求它仍然可能造成真正的伤害。
RSI是一个旧概念。在1965年的一篇论文中,统计学家I.J. Good推测,AI自我改进的快速循环可能导致一场“智能爆炸”。这一想法在1990年代于湾区未来主义者团体Extropians中获得了关注,它提供了一种讨论ASI的方式,而无需涉及如何建造这样一个系统的工程细节。这一概念被Eliezer Yudkowsky(后来创立了理性主义运动)和Nick Bostrom(曾帮助引导有效利他主义更多地关注人类生存风险)等知名人物所采纳。
然而最近,这个话题在Anthropic(Claude的开发者)和OpenAI(ChatGPT的开发者)内部都已从思想实验转变为实际工程。在6月一篇题为“当AI构建自身”的博客文章中,Anthropic描述了由LLM驱动的智能体如何加速代码的编写、调试和优化,并自动化了运行实验和记录结果等部分研究工作。该报告总结道,公司的内部数据“表明AI已经在加速AI系统的开发”。OpenAI对其意图同样明确;在9月的一份报告中,该公司宣布了到2028年3月开发出一名自动化研究员的目标。
但这些努力是否让这些公司走上了通往不可控RSI的轨道?若干障碍削弱了这一说法。想想改进AI系统所需数据的可获得性。直到2023年,LLM的重大进展都来自扩大模型规模。最初的GPT-1有1.17亿个参数(训练期间学到的、决定神经网络如何处理信息的数值)。这一数量跃升至GPT-2的15亿、GPT-3的1750亿,再到三年前GPT-4发布时(很可能)超过一万亿。然而在GPT-4之后,持续扩大规模开始产生递减的回报。这促使工程师们越来越多地将注意力转向“后训练”阶段,即应用强化学习技术来提升已训练模型在特定任务上的表现。这种方法奖励模型产生成功的回答,帮助它在未来更好地产生类似答案。然而,它需要大量相关输入与正确输出配对的样本。
这类数据集在计算机编程和数学等高度结构化的领域相对容易生成,这有助于解释为什么我们在这些狭窄领域看到了快速而令人印象深刻的进展。在缺乏此类训练数据便捷获取途径的领域,进展则不那么显著。这或许可以解释为什么AI能攻克高深的定理,却难以清空一个电子邮件收件箱。“如果锯齿状的前沿主要是数学+代码(你可以用[强化学习技术]将其任意推进),”法国AI研究员François Chollet最近推测,“而其他一切开始停滞,因为它仍然受限于人类生成的数据呢?”自动化编码智能体和LLM驱动的研究员的部署并不会克服这一根本性限制。
一个几十年前的思想实验如何成为AI行业的雄心——以及它可能通向何方
• 技术进步:一项科学或工程发展
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。