
评论文章质疑AI灭绝风险论调
来源标题:An AI Rant
一篇评论文章对Sam Altman、Dario Amodei等人2023年将AI灭绝风险与疫情、核战并列的声明提出质疑。作者引用Eliezer Yudkowsky的极端言论,并结合自身作为软件工程师已不再写代码的经历,讨论AI对日常生活的渗透。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
Carl Handellen 2026年11月6日 1 分享 “减轻AI带来的灭绝风险,应当与流行病和核战争等其他社会规模的风险并列为全球优先事项。”——Sam Altman、Dario Amodei以及数百位其他“研究者”,2023年。¹ 真的吗?流行病?核战争?!人类可能遭遇的最糟糕的事情?真的吗?! “如果有人打造出过于强大的AI,在目前的条件下,我预计人类每一个成员以及地球上所有生物生命都会在之后不久死亡。”——Eliezer Yudkowsky,MIRI高级研究员,2023年。² 自2022年11月以来,生活确实变了。AI已经并将继续渗透到我们与技术的日常互动中。就在最近,我在Wendy’s点餐时被迫使用AI;昨天我试图提交一个Facebook工单,却只能和一个糟糕的内部AI对话,那个AI的设计目的就是把你折磨到直接放弃。所以,AI确实已经来了,这一点不需要我来论证,而且撇开很多例外不谈,它确实可以相当强大。作为一名软件工程师,我已经不再写代码了。是的。我职业的基石基本上已经终结了。但尽管AI有了这么多新能力,它就要接管世界了吗?它要把生物生命从地球上抹去了吗?几乎肯定不会。而那些鼓吹这套叙事的人,应当为他们那些最终不过是噪音的、错得离谱的预测负责。 我确信这会被轻描淡写地斥为“AI否认主义”或“AI怀疑论垃圾”,甚至“天真的乐观主义”,而那些自视为AI安全知识持有者的“知识分子”会径直走过,不去重新审视他们根深蒂固的观点——根深蒂固。但这不是写给他们的,而是写给所有其他被吓得钻进地堡、囤积食品杂货的人,他们恐惧的是一个神秘的超级智能——而创造它、并继续创造它的,正是那些声称它会杀死我们所有人的人。 让我们拆解一下他们关于AI将杀死全人类的说法。 这不是夸张。这就是Anthropic的员工——那些正在开发地球上最先进AI的人——所说的话。在X上的一篇帖子中,Anthropic对齐科学负责人Evan Hubinger说:“我们真的诚挚地相信AI可能杀死所有人类!”感叹号。哇。“诚挚地”。该死。他接着预测,未来十年内这一概率大于10%。³ 等等,你们这些内部相信这一点的人,总有一篇论文或者什么东西吧? 你们总有一个关于这会如何发生的论纲吧? 总有一条潜在事件的时间线吧? 再说说如今大名鼎鼎的——还是说臭名昭著?——Jacob Coxon。Jacob在Anthropic有过一段短暂的职业生涯,担任预训练研究员。在此之前他在OpenAI。当他从Anthropic辞职时,他策划了一场预先安排的媒体事件,在X上说:“开发AI的人诚挚地相信,它可能在这个十年结束前杀死我们所有人。”又出现了那个词,“诚挚地”。⁴ 再说一次,零证据。没有“我相信这一点,是因为这些数据,而这些数据也会说服你”。没有“这些是引导我得出这一结论的关键事件和发现”。 好吧,Anthropic的两个随机员工当然不能代表整个AI安全领域,当然也不能代表Anthropic。我们来看看Anthropic的CEO Dario Amodei怎么说。 “有25%的概率事情会变得非常、非常糟糕,有75%的概率事情会变得‘非常、非常好’。”⁵ 零证据?真的吗?你就这么扔出来然后走开了?没有关于它会如何发生的论纲。没有建模。什么都没有。相反,我们必须求助于那些正在构建模型的人的权威,让他们告诉我们,他们正在构建的东西有很大可能毁灭全人类,可能毁灭所有生物生命。而因为他们是权威,我们不仅应该听从他们的预测,还应该听从他们的解决方案。 根据我从辩论、对话以及浏览有效利他主义留言板中拼凑出来的内容,这个10%或25%的全人类被灭绝的概率,基于这样一个想法:我们将实现“超级智能”,模型本身将远比人类聪明,并且能够递归地无限变得更聪明。这些模型将能够智胜任何凡人,并将人类视为其生存的障碍而消灭我们。所以,我们不仅必须实现“超级智能”且沿途不碰到任何瓶颈,这个超级智能还必须得出我们 somehow 挡了它的路的结论。然后这个超级智能还必须能够想出某种方法,在不被发现、且无法自然接触物理环境的情况下毁灭全人类。而这是25%的概率? 你知道什么是100%的概率吗?如果你刻意放缓或停止AI发展,美国经济——进而世界经济——将很快进入衰退区间,数以百万计的人将无法支付账单,当然会遭受痛苦。我们昨天就看到了,仅仅是在中期选举后美国政客威胁要监管AI。纳斯达克跌入回调区间,创下有史以来最大的单日跌幅。 主要AI公司的研究者和CEO们传播这种 nonsense 的动机是什么?我只能猜测。是年轻研究者来自类似的“末日论”世界观,迷恋“有效利他主义”的理念吗?也许吧。是Anthropic的CEO Dario,连同OpenAI的CEO Sam Altman,想通过引入严格监管、禁止他们最大的竞争对手——开源模型——来巩固自己作为有效垄断者的地位吗?也许吧。 AI安全中心,《关于AI风险的声明》,2023年5月30日。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。