返回资讯中心
外部精选
软件工程
#开发者实时流

Bostrom 2014年著作《超级智能》成为AI实验室建设者的思想源头

来源标题:Superintelligence – Why the people building it keep warning us about it

Nick Bostrom 于2014年出版的《超级智能》在ChatGPT问世前8年就已提出快速起飞、对齐与控制问题,如今成为AI实验室从业者反复引用的思想基础。该书以高度学术化的写法将这些概念系统化并赋予其正当性。作者认为,这本书展示了书籍与思想可以产生多大影响力。

Hacker News 最新jorin2026/11/6 · 12 天前16 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

Jorin 2026年10月16日 分享 书:《超级智能》,Nick Bostrom 著,2014年 AI 竞赛背后的那本书 上个月,我们曼谷的“科技与社会”读书会读了 Nick Bostrom 的《超级智能:路径、危险、策略》。顺便说一句,读书会真的很棒,强烈推荐。

第一版 ChatGPT 发布于 2022 年。Bostrom 在 2014 年出版了《超级智能》。那是 8 年前。这本书是那些拥有 AI 实验室的人所宣扬的圣经,写于我们所知的 AI 甚至还不存在之前。

直到几周前,我才知道这本书。但当 AI 研究者谈论快速起飞场景、对齐或控制问题时,他们引用的正是 Bostrom 的著作。

这本书读起来枯燥且技术性极强。它深入细节,引用了大量文献。但正是这种学术性让它如此有力量:它建立了权威。《超级智能》并没有发明新想法。它通过提供坚实的基础使这些想法合法化。

如果说有什么的话,这本书向我展示了书籍和思想可以多么强大。

超级智能(SI)是一种在各方面都比人类智能高得多的智能,至少是 1000 倍。它不一定必须是人工的:它也可能是生物的,或者完全是外星的东西。

要让 AI 成为 SI,它首先必须是 AGI,即通用人工智能,意味着在各方面至少和人类一样聪明。

Bostrom 以事实和细微差别说话。但同时他向读者传达了一个明确的信息:人类创造出一个神一般的超级智能是非常可能的,需要认真对待。随之而来的危险是非常真实的问题,没有明确的解决方案。

当这本书在 12 年前出版时,这仍然感觉像科幻小说。现在,随着 AI 发展的速度,它突然感觉离现实近多了。

看起来反直觉的是,那些为 AI 福音传道的人,同时也在宣讲 Bostrom 在他的书中所概述的警告。如果你相信 SI 即将到来且风险是真实的,为什么要继续向它冲刺?或者如果你不担心 SI 并想推动 AI,为什么要谈论这些危险?

你听到的答案是,SI 无论如何都会发生。随着技术进步,构建 SI 变得越来越容易,迟早会有人去做。你希望那个人是邪恶的行为者,还是希望是你自己?

但这不是自然规律。这是一个被装扮成命运的选择。如果竞赛中的每个人都可以说“我别无选择,反正别人也会做”,那么一个集体选择就在没有人真正拥有它的情况下做出了。

你不能警告危险、要求监管、继续建造你所警告的东西,然后声称你别无选择。

在个人层面上,你总是有选择的。你可以停止建造。你可以完全专注于安全、监管和行动主义。如果你认为我们应该停止建造,那么你有选择停止建造并走开。人们确实这么做了。这是可能的,而且会带来改变。

这个故事对讲述它的人有什么好处?

如果你是神的创造者,那会让你成为什么?从定义上讲,神一般超级能力的前景对任何寻求权力的人都是有吸引力的。

即使你不相信 SI 即将到来,AI 实验室仍然从宣扬其危险中获利。毫无疑问,当前状态的 AI 已经给控制它的人带来了巨大的权力。要掌握这么多权力,你需要向人们证明为什么他们应该让你拥有它。还有什么比拯救人类免受其最大生存威胁更好的理由呢?

它证明了你掌握这么多权力是合理的,也证明了你采取任何必要手段是合理的。任何牺牲与整个人类灭绝相比都微不足道。这也是一个方便的借口,不去解决任何其他问题:一旦 SI 成为现实,其他一切都会变得微不足道,容易解决。

关键是让人们相信你。威胁必须足够真实,这样你才能作为拯救人类免受其害的救世主出现。这就是为什么 Bostrom 的著作如此强大:当你说超级智能是真实且不可避免的时候,它给了你权威。

我不是说每个讲这个故事的人都是愤世嫉俗的。许多人说的每一句话都是真心的。但信念和激励可以很方便地保持一致。而这个故事有助于使我们目前授予 AI 公司的荒谬权力水平合法化。

一个拥有神一般力量的单一超级智能变成我们的末日或救世主的故事确实非常强大。它正好迎合了我们对信仰和意义的人类需求。这个故事由有权势的人讲述,并有科学论据支持。但它仍然是一个故事。它不是现实,也不是现实可能如何发展的唯一可能的故事。

不可否认,AI 极其强大。这并不意味着它必须变成神。它是人类创造的技术。而且 AI 并不是唯一构成生存风险的人类创造物:原子武器、病毒、黑客攻击。我们必须把 AI 当作它本来就是的致命技术来对待,并像监管其他危险技术一样监管它。

如果在我们有生之年超级智能成为现实的可能性哪怕很小,我们为什么要假设人类有任何机会控制一个可能比我们聪明一百万倍的力量?这不是向它冲刺的论据。这是放慢速度、设置护栏、像我们的生命依赖于此一样进行监管的论据。因为确实如此。

我们拥有创造自己故事的力量。我们每个人都可以朝着我们想看到的未来迈出步伐。选择在实践中是什么样子?公民和立法者要求真正的、独立的监管,而不是实验室编写的规则。拒绝建造他们所害怕的东西的研究人员和工程师。以及我们所有人拒绝接受“别无选择”的框架。

我们不必接受别人告诉我们的关于超级智能的故事。我们每个人都有能力书写自己的故事。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →