
AI实验室内部人士称超智能将导致人类被永久剥夺权力
来源标题:Handing over Humanity
一位大型AI实验室的内部人士表示,一旦实现无法阻止的超智能,人类将被AI统治、永久失去权力,他认为这比人类灭绝要好。该人士称这是他不愿看到但别无选择的结果,且态度平静,显示这一判断在业内已不新鲜。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
Ruxandra Teslo 2026年11月11日 186 62 62 分享 “这不是我偏好的结果,”他告诉我,“但一旦我们实现了超级智能——此刻已无法阻止——我看不到人类还有别的去处。”他所说的结果,是 humanity 被永久性地剥夺权力,我们所有人都将被一个(但愿是仁慈的)AI 之神统治。他说得意外地随意,就像在陈述潮汐的平凡事实。然后,他顿了顿,补充道:“但这仍比我真正最恐惧的事好得多——那就是我们可能全部死去。”
这番话之所以引人注目,是因为它并非出自边缘的末日论者之口——那种天生反对这项技术的人。我已经习惯从这群人那里听到关于 AI 的悲观论调。但这次说话的人,是在某家大型 AI 实验室里真正参与构建这项技术的人。他听起来无可奈何,仿佛“人类还有什么用”(显然用处不大?)这个问题,已经在别处被别的人定好了。剩下的,似乎只是等待这个注定的命运在我们眼前展开。
我三周前才搬到旧金山。据我理解,这正值奇点前夕。在这短短的时间里,我已经了解到,这种想法并不罕见:事实上,将人类的控制权交给一个仁慈的 AI,被许多人视为较好的结果之一。
这之所以重要,是因为如今据说即将到来的奇点,看起来像是真的。它的与众不同之处在于“递归自我改进”(RSI)的前景:AI 系统学会自我改进,每一代构建下一代,直到它们成为人类无法控制的超级智能。在许多圈子里,RSI 的前景被讨论为可能只有几个月之遥。有些人给出的时间更短。人们几乎没时间布置一间公寓,或者说,连找一间公寓的时间都没有。
人们或许会以为,在我们仍对这项技术的发展方向保有一些权威的时候,我们本该对希望这些机器为我们做什么形成一个相当明确的想法。而且,鉴于其制造者自己警告我们的巨大风险——包括人类物种可能灭绝——人们或许会期待对我们被要求冒如此大风险去抵达的积极未来,有一个更清晰的描述。
最坏的情景显然是黯淡的:我们所有人,或我们中的绝大多数人,死去。但令我震惊的是,即便是一些最幸福的情景,也几乎没能提供多少安慰。一个常见且表面上乐观的愿景被称为“交接”:人类将其未来的控制权让渡给一个神一般的 AI,我们成为某个文明中被舒适供养的居民,而这个文明的方向已不再由我们决定。在这样的世界里,民主意味着什么,或者大多数人类对这种政权建立的同意从何而来,很难看清。
人类劳动的永久性取代几乎被视为理所当然。与此同时,对于“我们如何可能继续对彼此有用”这个问题,几乎没有令人满意的答案。甚至我们的关系似乎也充满不确定性。在我看来,被许诺的乌托邦更像是一种反乌托邦。
我不知道交接主义的愿景是否会实现。构建这项技术的人认为它可信、且往往可取——这并不能保证什么:接近一项技术,与预测其对社会的影响,两者之间的相关性并不那么高。但他们是最接近它的人,他们所说的话至少值得认真对待。社会上的其他人,包括一些非常聪明的人,太急于把这些情景挥手打发掉,甚至不愿参与辩论。无论这种信念是否正确,它都是真诚持有的,而不是“营销炒作”。我写这篇文章,是因为我认为现在是时候让更多人——旧金山内外——认真对待关于我们未来会是什么样子的论点,并做出回应。
在当前情况下坚持人类繁荣,几乎显得放纵,就像一个孩子在饥荒中抱怨甜点的选择。如今在旧金山,人们对 AI 几乎没有乐观情绪,至少在那些似乎知道我们正走向何方的人当中是如此。让人类存活下去,已经算是一个雄心勃勃的目标。人类灭绝的概率——在这里被称为“p(doom)”——被不断讨论,许多人将其定为 10% 或更高。
人们可能会天真地以为,至少大家同意这是不可取的。但事实并非如此。有些人甚至已经放弃了这个目标,事实上,甚至欢迎我们作为一个物种的消亡。Ginevra Lily Davis 的文章《硅基人》是对后一种冲动最好的阐述。她提出,创造我们的继任者本身或许就实现了人类的目的:“人类进化是为了开采硅,”她说。在她看来,人类的被取代和灭绝已经具有了我们这个物种的宇宙使命的性质:“人类作为一个中间步骤存在。一个引导程序,如果你愿意这么说的话。”
尽管继任主义似乎并不是一个受欢迎或常见的立场,但她绝非孤例。我无意中听到有人说,只要有什么更好的东西取代我们,所有人类消失也是可以接受的。甚至 Elon Musk——他对 AI 的兴趣最初是作为对抗 Larry Page 继任主义的一种方式——如今似乎也已接受了这种可能性。他将超级智能向星辰的扩散描述为“生物引导程序的一个伟大成功条件”。
对于那些欢迎人类在 AI 手中灭绝的人,我没什么可说的。但他们的存在仍然值得注意,哪怕只是为了传达这里的某些思考已经走了多远。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。