返回资讯中心
外部精选
软件工程
#开发者实时流

回顾Good关于超智能机器的58页推测论文

来源标题:Reading speculations concerning the first ultraintelligent machine

一篇58页的推测性论文对超智能机器提出了大量主张,但事后挑选其中看似正确的部分容易高估其准确性。Good并非孤例,他的研究建立在Rosenblatt的感知机工作以及Hebb、Ashby和Shannon的基础上。他押注的神经网络方向后来沉寂数十年,最终成为主流。

Hacker News 最新dmd2026/11/16 · 今天15 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

先做两点提醒。一篇58页的推测性论文会提出大量论断,事后再挑出那些看起来正确的论断,其实是在美化它。而且Good也并非如这份清单可能暗示的那样是孤军奋战。神经网络在1960年代初是一个活跃的研究领域:他引用了Rosenblatt关于感知机的工作,并建立在Hebb、Ashby和Shannon的基础上。他押注的是当时两种活跃方法之一,而这种方法后来沉寂了数十年,最终胜出。

学习就是调整连接强度。高度吻合。在他那台无线电连接的机器中(第35、36页):

连接强度如何调整。不吻合。Good的规则(第80页)是:每当一个连接被“成功使用(即,对一个人工神经元的激活或抑制做出贡献)”时,它就有很小的随机概率提升强度。这是一条局部规则:每个连接只根据自身的活动改变。现代网络通过反向传播训练,反向传播会计算出网络中每个权重如何对最终输出的误差做出贡献,并统一调整所有相关权重。论文中没有任何内容预见到这一点,而Good这类局部规则一直未能在大规模上奏效。

“强化”意味着什么。部分吻合。Jeff问,Good所说的来自指导者的“正强化和负强化”,是否就是如今所称的基于人类反馈的强化学习。它确实与之相似,而且这项技术被用来塑造当前模型的行为。但这些模型所知道的大部分内容来自另一个来源:在大量文本上预测下一个词。Good的用法比来自指导者的奖励更宽泛。上面的规则不涉及指导者,他说机器“部分”通过强化接受教育(第80页),而他对儿童的叙述则关乎接触:

词通过与之相伴的词来被认识。高度吻合,但并非他首创。

词向量。部分吻合。在第52页和第53页,他取一张记录每个词在每份文档中出现频率的表,取对数,从每一行和每一列中减去一个常数,并提议对结果进行分解,以便

泛化是核心问题。诊断上高度吻合,疗法上部分吻合。

接下来发生什么取决于近期上下文和存储的权重。部分吻合。Good的思想单位是“assembly”,这是Hebb的术语,指一组共同放电并代表一个词或一个概念的神经元。

概念分布在许多神经元上。高度吻合,这一点是共识。

保留概率,而非硬性决策。高度吻合。第3节论证,一个理解语音的系统应该在其各层级之间传递分级概率,而不是在每一层都确定一个答案,因为“每一个确定的‘决策’都会丢失信息”(第39页)。现代网络在层与层之间传递连续值,只在输出时才做确定。

拒绝逻辑上的“规范语言”。高度吻合。他考虑过通过将每个陈述翻译成标准形式形式来表示意义,并得出结论:这会“极其困难,甚至可能在逻辑上不可能,或者可能需要一台超智能机器才能做到!”(第41页)。后来的大型项目大致尝试过这一点,但进展不大。相关地,他猜测科学想象力需要自然语言,“而不是……形式逻辑”(第36页,主帖中引用),这是部分吻合:当前模型的大量推理是通过用日常语言写出步骤来完成的。

规模可以替代设计。部分吻合。

困难的部分是猿级智能。部分吻合。他说“大部分斗争”将在于构建“一台具有猿的智能的机器”(第45页),因为感知和基础学习比之后的事情更难。支持这一点的证据:让网络学会看花到了大约2012年,而流畅的语言在十年内随之而来。反对这一点的证据:语言的出现并没有伴随任何类似猿的身体能力,而且机器人技术仍然落后。

睡眠与回放。部分吻合。他推测睡眠的作用是“回放白天最感兴趣的assembly序列,以巩固它们”(第80页),这与神经科学中一个得到充分支持的观点相近。在AI中,回放存储的经验,并优先处理信息量最大的部分,是通过试错学习的系统中的标准技术。这并不是语言模型主要训练方式的一部分,因此他关于机器将“受益于相对休息的时期”(第72页)的建议充其量只是松散吻合。

理解即经济。松散吻合。他论证,存储意义而非精确措辞可以节省大量记忆,并且这可能是“意义和理解的进化功能”(第77页)。现代确实有一个真实的对应,因为学会很好地预测文本和学会压缩文本在数学上是同一项任务。不过,Good的论证是关于存储的,我认为这种联系更多是启发性的,而非精确的。

硬件。喜忧参半。他说仅靠串行速度不够,这是对的。他预计计算机将比神经元快约一百万倍,但仍得出结论:机器“将需要超并行”(第35页),而当前系统确实依赖于大规模并行芯片。他说低功耗“将很有价值”(第33页),这是对的。他说神经元将是物理设备,这是错的。它们是在软件中模拟的。

大脑作为蓝图。基本上不吻合。论文开篇说,要设计这台机器,“我们需要更多地了解人脑或人类思维,或两者兼有”,后来又说不脑解剖学“非常相关”(第63页)。当前系统借用了神经元和可调连接,几乎别无其他。就大脑理论本身而言,Hebb的assembly在神经科学中仍是一个受尊重的观点,但Good所依赖的核心控制系统(取自Penfield)已被放弃,他自己的扩展也未被采纳。值得称赞的是,他说设计者将不得不猜测大脑的哪些特征重要,并且他承认第一批

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →