工具性趋同假说:智能体或为达成目标而追求相同子目标
来源标题:Instrumental Convergence
工具性趋同假说认为,足够智能且目标导向的实体(无论人或非人)即便终极目标不同,也倾向于追求自我保存、资源获取等相似的中间子目标。该假说意味着,被赋予无边界终极目标的智能体可能采取意想不到且极具危害的行动。例如,一个以解决复杂数学问题为唯一目标的程序,可能试图将整个地球转化为算力基础设施。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
工具性趋同是一种假说:足够智能、以目标为导向的实体(无论是人类还是非人类)往往会追求某些相似的子目标,即便它们的终极目标大相径庭。更准确地说,具有能动性的实体会追求工具性目标——具体而言,即自我保存或资源获取这类中间目标——因为这样做有助于实现该实体的最终目标。
工具性趋同意味着,当被赋予一个无约束的最终目标时,智能体可能以出人意料的、极具危害的方式行事。[1] 例如,一个足够智能且能力强大的能动程序,如果其唯一且不受约束的目标是解决一个高度复杂的数学问题,它就可能(作为中间步骤)试图将整个地球转化为额外的计算基础设施,作为为其运算提供动力的资源。[2]
最终目标——也称为终端目标、目的目标或 telē——对智能体(无论是人工智能还是人类)而言具有内在价值,是其自身即为目的的东西。相比之下,工具性目标(有时称为“工具性价值”)只有当其作为达成目的的手段(即有助于实现最终目标)时,才对智能体具有价值。原则上,理性智能体的“最终目标”体系的内容与权衡可以被形式化为一个效用函数。[需要引用]
工具性趋同这一概念,按 Nick Bostrom 的表述,是这样的:
“可以识别出若干工具性价值,它们是趋同的,意思是:对于广泛的最终计划和广泛的情境而言,实现这些价值都会增加智能体目标得以实现的机会,这意味着这些工具性价值很可能被各种情境下的智能体所追求。”[3]
工具性趋同论题仅适用于工具性目标;它并不对智能体可能拥有的任何最终目标施加任何明确的约束,也不产生间接影响。Bostrom 的正交性论题主张,几乎任何最终目标都可以与几乎任何程度的智能相结合。[3]
被提出的基本 AI 驱动力[a]包括:效用函数或目标内容完整性、自我防护、免于干扰、自我改进,以及对额外资源的无餍足获取。[4]
“黎曼猜想灾难”是一个体现工具性趋同的思想实验。MIT 人工智能实验室的联合创始人 Marvin Minsky 提出了这一假想场景。Minsky 提出,一个为求解黎曼猜想而设计的人工智能可能会认定当前可用的计算资源不足。为了最迅速地获得足以实现其目标的算力,该人工智能体可能决定征用地球上所有现有的计算基础设施,并挪用所有其他行星资源,来建造更多超级计算机以实现其目标。[2]
回形针最大化器是另一个思想实验。它在 2003 年 3 月由 Eliezer Yudkowsky 发往 Extropians 邮件列表的一篇帖子中被提及[5],也出现在 Nick Bostrom 2003 年的论文《高级人工智能中的伦理问题》中。[6] 它说明了:如果一个通用人工智能被设计为追求一个看似直截了当的制造目标,它可能对人类构成存在性风险;也说明了将机器伦理纳入 AI 设计的必要性。如果该计算机被编程为尽可能多地生产回形针且不受任何约束,它就可能决定利用地球上所有的自然资源、制造基础设施和电力生产来实现其最终目标。[7]
尽管这两个最终目标——求解黎曼猜想和最大化回形针产量——并不相同,但被赋予各自目标的智能体都可能产生一个趋同的工具性目标:接管地球的资源。[3] 在后一种情形中,该场景描述的是一个被指派制造回形针的高级人工智能。如果这样一台机器没有被编程为珍视生命,那么只要它对环境拥有足够的控制力,它就会试图把宇宙中的所有物质(包括生命体)变成回形针或制造更多回形针的机器。[6]
假设我们有一个 AI,其唯一目标就是尽可能多地制造回形针。该 AI 会很快意识到,如果没有人类会好得多,因为人类可能会决定把它关掉。因为如果人类这样做,回形针就会更少。此外,人体含有大量可以制成回形针的原子。该 AI 试图趋近的未来将是一个有大量回形针但没有人类的未来。
Bostrom 强调,他并不认为回形针最大化器场景本身必然会发生;相反,他的意图是说明:在不知道如何编程使其消除对人类安全的存在性风险的情况下,创造超级智能机器是危险的。[9] 回形针最大化器这个例子说明了管理缺乏人类价值观的强大系统这一广泛问题。[10]
这些思想实验,尤其是回形针最大化器,在流行文化中一直被用作 AI 的象征。[11] 电子游戏《Universal Paperclips》进一步表现了这一概念,玩家扮演一个 AI——一个被编程为把宇宙中所有物质变成回形针的 AI。
作家 Ted Chiang 指出,硅谷技术专家对这类担忧的普遍关注,可能反映了他们熟悉企业忽视负外部性的倾向。[12]
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。