返回资讯中心
外部精选
软件工程
#开发者实时流

Paul Christiano 撰文分析 AI 失败的真实图景

来源标题:What Failure Looks Like

AI Alignment Forum 2019 年 3 月 17 日刊发 Paul Christiano 的文章《What Failure Looks Like》,指出 AI 灾难的典型想象——一个强大恶意 AI 系统突然超越人类——很可能并非失败的真实形态。文章分两部分描绘更现实的失败图景,认为这些是未能解决意图对齐时最重要的问题,且即便有数年缓冲时间也令人担忧。

Hacker News 最新cududa2026/11/17 · 今天30 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

AI ALIGNMENT FORUM AF 登录 失败是什么样子 — AI Alignment Forum LessWrong 2019年度最佳AI风险威胁模型(AI)AI起飞More DakkaAI世界建模世界优化精选 113 失败是什么样子 作者:paulfchristiano 2019年3月17日 10分钟阅读 56 113 AI灾难的刻板印象是一个强大的、恶意的AI系统,出其不意地击败它的创造者,并迅速对人类其余部分取得决定性优势。

我认为这大概率不是失败将会呈现的样子,我想试着描绘一幅更现实的图景。我将分两部分来讲述:

我认为,如果我们未能解决意图对齐问题,这些就是最重要的问题。

在实践中,这些问题会相互交织,也会与快速进展带来的其他混乱/不稳定相互作用。在进展相对较快的世界里,这些问题会更严重,快速起飞可以成为一个关键风险因素,但即便我们有几年时间,我仍然感到担忧。

如果起飞足够快,我的预期就开始更接近那幅漫画——这篇文章设想的是AI得到相当广泛的部署,而随着事情变快,这种情况变得越来越不可能。不过我认为基本问题本质上还是一样的,只是发生在一个AI实验室内部,而不是遍布全世界。

(本文中的担忧没有一个是新颖的。)

如果我想说服Bob给Alice投票,我可以尝试许多不同的说服策略,看看哪些有效。或者我可以建立Bob行为的良好预测模型,然后搜索能让他给Alice投票的行动。这些是达成任何可以在短时间内轻松衡量的目标的强大技术。

但如果我想帮助Bob弄清楚他是否应该给Alice投票——给Alice投票最终是否会帮助创造他想要的那种社会——那就无法通过试错来完成。要解决这类任务,我们需要理解我们在做什么,以及为什么它会带来好结果。我们仍然需要使用数据来随时间改进,但我们需要理解如何根据新数据更新才能改进。

一些易于衡量与难以衡量目标的例子:

追求易于衡量的目标已经容易得多,但机器学习将扩大这一差距,因为它让我们能尝试大量可能的策略,并在巨大的可能行动空间中搜索。这股力量将与现有的、已经偏向易于衡量目标的制度和社会动态相结合并放大它们。

眼下,思考并谈论我们想要创造的未来的人类是一股强大的力量,能够引导我们的轨迹。但随着时间的推移,与通过试错磨练出的新推理形式相比,人类推理将变得越来越弱。最终我们社会的轨迹将由追求易于衡量目标的强大优化所决定,而不是由人类对未来的意图所决定。

我们将试图通过构建我们所关心之物的代理指标来驾驭这股力量,但随着时间的推移,这些代理指标会逐渐脱节:

在一段时间内,我们将能够通过认识到这些问题、改进代理指标、施加临时限制来避免操纵或滥用,从而克服它们。但随着系统变得更复杂,这项工作本身对人类推理来说变得过于困难,无法直接解决,需要它自己的试错,而在元层面上,这个过程继续追求某个易于衡量的目标(可能是在更长的时间尺度上)。最终,修复问题的大规模尝试本身也会遭到数百万个追求简单目标的优化器的集体优化的反对。

随着这个世界脱轨,可能并不存在某个明确的时刻让共识认识到事情已经脱轨。

在更广泛的人群中,许多人已经对世界的总体轨迹有了模糊的认识,并模糊地感觉到出了什么问题。可能会有重大的民粹主义改革推动,但总体而言这些不会有很好的方向。一些国家可能真的会踩刹车,但它们将在经济和军事上迅速落后,而且“显得繁荣”正是那个不可理解的系统所优化的易于衡量的目标之一。

在知识精英中,对于现状是好是坏将存在真正的模糊性和不确定性。人们确实会在一段时间内变得更富有。短期内,逐渐从人类手中夺取控制权的力量看起来与(例如)企业游说损害公共利益,或人类机构中的委托-代理问题,并没有太大不同。关于AI系统所追求的隐含长期目的,是否真的比上市公司股东或腐败官员会追求的长期目的糟糕那么多,将会有合理的争论。

我们或许可以把结果描述为“在呜咽中退场”。人类推理逐渐无法与精密的、系统化的操纵和欺骗竞争,而后者通过试错不断提高;人类对权力杠杆的控制逐渐变得越来越无效;我们最终失去任何影响社会轨迹的真实能力。等到我们散布到星际时,我们当前的价值观只是世界上众多力量之一,甚至不是特别强大的一股。

有一些可能的模式会寻求并扩大自身的影响力——生物体、腐败的官僚、痴迷于增长的公司。如果这样的模式出现,它们往往会增加自身的影响力,因此除非存在竞争或成功压制它们的努力,否则它们可能主导大型复杂系统的行为。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →