返回资讯中心
外部精选
软件工程
#开发者实时流

作者回顾2016年关于失控AI的写作及此后变化

来源标题:What I Wrote About Rogue AI in 2016, and What Changed

本文作者回顾自己早年对AI的观察,从1999年《Quake III Arena》中被手工编写的游戏AI击败的经历说起。作者指出,那些机器人依靠规则、状态机和寻路算法,能预判玩家行为并调整战术,让他在高难度下迅速落败。这段体验影响了他后来对AI作为设计问题的思考。

Hacker News 最新speckx2026/11/16 · 昨天30 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

早在把人工智能当作设计问题来思考之前,我就已经在1999年的一款科幻经典游戏《雷神之锤III竞技场》里输给了它。游戏提供五个难度等级,从“我能赢”一直到“噩梦”,中间还有“放马过来”“伤我试试”和“硬核”。“放马过来”显然是我的首选。1 到了更高等级,生存时间从几分钟缩短到几秒钟。原因在于手工打造的游戏AI。规则、状态机和寻路逻辑,经过设计师和程序员的精心调校,让机器人能更敏锐地判断玩家的行为。到了“噩梦”难度,与Xaero的最终对决可能几秒钟就结束。

游戏里有一整批机器人对手,它们强得令人恼火。它们似乎能像我一样读懂地图,预判我下一个出现的位置,并在我改变战术时调整自己的策略。一个奏效两次的策略,第三次就会失败。我更多的是恼火而非佩服,后来才明白,恼火恰恰是有意思的部分。某个我未曾构建、也无法完全预测的东西,正在对我做出回应。

那段经历伴随我走过艺术学校,也伴随我多年为大型机构设计仪表盘和数据界面的岁月。它一直延续到我2016年写的研究生申请里。2 那时机器人已成为一段美好回忆,但那堂课变成了一个问题。如果上个世纪的一款游戏就能让我感到被看透,那么为严肃得多的目的而构建的系统,一旦能够自主行动,又会做出什么?

机器会回应我们围绕它们所构建的世界。令人不安的是,我们对谁构建了那个世界、为什么构建,关注得太少。

2016年,我申请了一个战略远见研究生项目,提交的方案围绕HASI展开,全称是“以人为本的人工超级智能”。其论点很简单。人工智能即将获得超出大多数人规划的影响力,而明智的做法是在它开始独立行动之前,就决定它应该服务于什么。

先做几个定义会有帮助。我所说的人工智能,是指执行曾专属于人类的特定任务的系统,比如识别图像或推荐产品。通用人工智能(AGI)则能像人一样灵活处理广泛的任务。人工超级智能(ASI)将在大多数任务上超越人类。3 我2016年的文本在这些术语之间来回切换却没有说明,这是我首先要修正的地方。它还称那款游戏里的机器人会学习,而实际上它们的设计者是手工调校的。

那份陈述说对的地方是担忧。它指出公司正在构建“感知”人类任务的系统,其中一些工作服务于军事目的,并提到有研究人员警告自主武器的军备竞赛。它追问哪些人类技能将被改变、确立或损害,以及这对世界各地的文化意味着什么。它还主张人们应提前设计护栏,运用设计思维和远见,让机器的目标与我们的目标保持一致。

写这份陈述时,我把草稿分享给了一位我尊敬的经验丰富的从业者。评审慷慨而直接。它警告说我选了一个巨大的题目,因为超级智能将高高在上,我们对它的能力的理解,不会比蚂蚁对我们的理解更好。它指出我的陈述只有两段描述研究想法,其余大部分都在描述我自己。它还提议用“hASI”这个名字,即以人为本的ASI,后来变成了HASI。这三条意见我都保留了。第一条塑造了我在这篇文章后面描述的局限,第二条是为什么这篇文章大部分讲的是想法而非资历,第三条给了这个想法一个名字。

它缺少的是一个机制。我断言设计思维和远见能让机器与人类目标保持一致,却从未解释谁在哪个阶段做什么,或者这一切与工程师们已经在尝试的事情有何不同。“对齐的目标”描述了一个目的地,却没有路线。这篇文章的其余部分,就是我尝试画出这条路线。

我的陈述中最经得起检验的部分,是对武器的担忧。在我写它的一年前,AI和机器人研究人员签署了一封公开信,Stephen Hawking和Elon Musk等人也加入了。4 它警告说,一旦任何主要大国开始开发AI武器,军事AI军备竞赛将几乎不可避免。它的补救措施是禁止“超出有意义的人类控制”的进攻性自主武器,这是关于人类判断必须留在何处的问题。十年后,这仍然是正确的问题。

我无法预见的是辩论会如何演变。2016年我想象的是一个失控的超级智能,一台挣脱束缚的机器。而实际到来的,从2022年底开始,是数以百万计的人如今每天都在使用的语言模型,它们的风险更为安静。同一位评审曾敦促我把狭义AI视为一个充满设计挑战的丰富领域,可以立即着手应对。十年过去,许多实际的设计工作确实是在尚未达到通用智能的系统上完成的。对齐研究成为该领域的核心部分,各国政府也开始制定规则。欧盟的《人工智能法案》于2024年8月生效,此后一直在逐步落实其义务。5 这些都不像我描述的场景。但这一切都支持其背后的前提:护栏是人们必须刻意决定的东西。

更近的危险,与其说是一台逃离我们的机器,不如说是人们逐渐停止行使监督它所需的技能。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →