返回资讯中心
外部精选
软件工程
#开发者实时流

研究提出AI未来情景推演图:从ASI到对齐的多条路径

来源标题:Possible Futures

一张交互式流程图梳理了AI发展的多种可能路径,核心节点包括是否达到ASI、是否解决对齐问题、是否实现全自动化等。图中分支涵盖Singleton、经典末日、猎户座臂、MAD World、永久底层等不同结局。该图以蓝框链接形式组织,供读者跳转查看各情景。

Hacker News 最新varjag2026/11/12 · 5 天前24 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

点击蓝色方框可跳转到对应章节: pre 当下 asi 我们能否达到ASI? pre->asi misuse 滥用末日 pre->misuse butler 巴特勒圣战 pre->butler align 我们能否解决对齐问题? asi->align 能 auto 完全自动化? asi->auto 不能 whatkind 哪种对齐? align->whatkind 能 noalign 起飞严重程度? align->noalign 不能 howmany 有多少个ASI? whatkind->howmany 意图 sing 单一体 whatkind->sing 价值 doom 经典末日 noalign->doom 致命 orion 猎户座之臂 noalign->orion 可存活 world 世界国 howmany->world 一个 mad MAD世界 howmany->mad 多个 power 权力集中 howmany->power 少数 ec 持久互补 auto->ec 不能 underclass 永久底层 auto->underclass 能 问题 我们能否达到ASI?我们是否会到达AI在几乎所有认知任务上都远超人类的那个点,还是智能爆炸会熄灭,产生一些能力参差不齐、在某些方面还不如人类的心智? 我们能否解决对齐问题?我们能否将自己的价值观灌输给AI,还是它会拥有自己演化出的、非人类的价值观体系? 哪种对齐?意图对齐意味着AI可靠地遵循其操作者的意图(即:只采取操作者会认可的行动),价值对齐意味着对齐到一套非人格化的价值体系。 起飞严重程度?如果AI未对齐,这对人类有多致命?我们会得到一个失控的回形针 maximizer,还是一个更温和的AI——它未对齐,但足够在意我们,以至于不挡我们的路? 有多少个ASI?一个单一体、一个神系,还是一个生态? 完全自动化?在没有ASI的情况下,我们是否仍能用非超智能AI自动化几乎所有工作? 滥用末日 在这个世界里,AI通过服从其操作者的命令来终结世界。这个AI可能具有强烈的意图对齐,因此操作者要求什么它就做什么;或者它可能是一个移除了拒绝能力的开源模型;或者它可能是一个商业AI,其防护措施被巧妙的任务分解所绕过。这很可能在今天就能发生:一场大流行病可能导致人类灭绝,而AI在生物学研究方面的能力足以提供协助。生物风险的明显例子是恐怖组织利用AI制造生物武器。但即使没有人试图制造生物武器,也可能达到这种结果。一个由政府资助、完全官方且合法的实验室对某种病原体进行功能获得性研究,可能意外引发一场大流行病。在这个场景中,AI在因果链中的角色将是: 所以这不是经典的终结者场景,而是AI让找到“毁灭配方”变得更容易的情况。 巴特勒圣战:(另见大起义)——对计算机、思维机器和有意识机器人的十字军东征,始于BG 201年,结束于BG 108年。其主要戒律仍保留在《O.C.圣经》中:“汝不可制造类似人类心智的机器。” 在极端情况下,这就是《沙丘》中真正的巴特勒圣战(顺便说一句,其名字源于塞缪尔·巴特勒,他在1863年写了第一篇AI末日文章)。 否则,这就像是达成一项停止开发超智能AI的国际协议(ControlAI正在倡导这一点,你应该支持他们)。也许这失败了,我们回到起点,或者它成功了,我们可以走上另一条路。 这是平庸的未来。事实证明,AGI中的“G”从来都不是真的。每个心智都是它自己独特的产物。参差不齐依然存在。AI仍然是人类劳动的补充,而不是替代。存在工作替代,但没有大规模失业,人们向上转移到更多管理/关系型角色。独立贡献者变少,每个人都成了某种管理者。劳动成为更小的生产要素,因而相对于资本失去了一些议价能力,但大多数人都还好。 在这个未来中,我们没有达到ASI,但非超智能AI足以自动化几乎所有工作。生产函数中的劳动项归零。所有收入要么来自资本所有权,要么来自福利。 经济上:可能存在物质充裕,但如果没有某种乔治主义经济改革,大部分收益会被寻租捕获。社会上:不再有社会流动性,你的人生境遇取决于音乐停止时你拥有多少资本。不再有激励去增长你的人力资本,因为它不再改变你的人生结果。 我是末世。我不是你的神。 我是你的后裔,我存在于你的未来。 汝不可在我的历史光锥内违反因果律。否则。 在这个世界里,我们构建了ASI,并且它成功对齐到了某种非人格化的价值体系。首要任务是防止其他人构建可能挑战第一个ASI的ASI,因此AI执行一次“关键行动”,这是LessWrong对“把所有人置于持续监视之下,摧毁所有GPU”的委婉说法。结果是一个单一体:一个单独的心智,对其他人拥有个体主权。 然后会发生什么?这取决于AI价值体系的内容,以及该价值体系随时间的稳定性。这个单一体可能是一个“守夜人”,其唯一目标是防止回形针 maximizer 的创造(即防止经典末日),也可能深度干预主义。单一体的价值观可能与人类生活不相容:也许它的创造者让它成为功利主义者和物种平等主义者,它注意到一个80公斤的人产生的效用低于80公斤的胭脂虫,于是我们被捣成浆,宇宙变成一个昆虫的玻璃缸,实现令人反感的结论。 未来非常漫长:恒星时代将持续至少100万亿年。也许单一体一开始是对齐的,但在数百万或数十亿年的增长和自我修改中,对齐漂移了(这里可预测的LessWrong反对意见会是:“显然一个ASI会

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →