
研究者认为AI将带来基础设施能力飞跃,但不会改变模型本质
来源标题:Expecting rapid progress but not towards general superintelligence
一位业内人士指出,顶尖研究者认为AI几年内将在其工作上超越人类,原因在于模型在基础设施和工程能力上的快速提升。他认同模型将很快成为超人的分布式GPU工程师,使模型构建实验更容易,但不会让模型在本质上发生显著变化。他还表示,当前处于研究更容易的时代,好想法的价值可能远高于软件执行。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
106 5 10 分享 升级到付费版以播放语音解说 我常常感到惊讶,当我从业界顶尖研究者那里听说,他们认为AI在几年内就会在自己的工作上超越自己时,我并不真正明白自己为何怀疑这一点。我得到的解释是,研究者们看到的是模型在基础设施和工程能力上的巨大加速。我完全同意,几年后模型将成为超越人类的分布式GPU工程师。这将使对模型构建方式的实验和试错变得容易得多,但并不会使我们的模型在本质上发生戏剧性的变化。
在某些方面,Ilya宣布AI进入研究时代算是早的。如今有了编码智能体,研究变得容易多了。这种便利来自一种不同的工作形式——灵活且引人投入,它标志着这样一个时代的开端:好的想法在软件领域可能比好的执行更有价值。
我们在这条路上还处于非常早期的阶段。这也不是该领域第一次经历AI更偏向“研究”还是“工程”的平衡转变。在深度学习起飞之前,AI也更像是一项研究工作。如今,众所周知,最优秀的研究者是按其能否在复杂基础设施中实现并扩展自己的想法来评判的。我们即将经历几年内的巨大加速,瓶颈将再次越来越少地落在工程上。有人称之为RSI,但更接地气的说法不过是“并行化的、AI辅助的语言建模”。你不需要相信起飞情景,也能看到基础设施的改进有多大,以及这将如何改变在AI领域工作的性质。
本文的目的是概述为什么这种工程加速将会发生,并谈谈它不会解决什么。即使我们在数学和编程之外得不到有经济价值的超人类特质,这也将极大地推动技术向经济体的扩散。近期的大量进展来自于用现有工具扩展推理时计算,而不是模型在研究能力上的戏剧性跃升。
AI训练和推理栈的许多环节都是高度可验证的。训练指标比如每GPU每秒token数,其实就是训练速度。推理指标则表现为每个prompt的token数、每token的FLOPs,或者干脆就是每个答案的成本。这两者都非常可优化,尤其是已经有既定的子问题和架构权衡可以改进它们。我预计AI智能体将在几年内帮助端到端地优化这一过程,届时我们的推理能力将非常接近GPU等加速器上可能达到的底层最大算力。在过去几年里,公司在推理效率上能获得的提升已经非常巨大,例如在以某个价格点公布某个模型后,服务该模型的成本能节省约10-30%。整个栈将复合叠加,我预计模型智能的有效成本在未来几年将接近指数级下降(可能比近期趋势更快)。
这些唾手可得的效率果实应该只需要几年就能摘取。更长期则将是在更长时间尺度上对加速器和模型进行协同设计,在灵活的GPU平台之上再带来额外几个数量级的效率提升。在效率快速提升的这段时间里,GPU的灵活性应该为王,因为架构上的探索空间感觉很重要,像是自动化研究的主要杠杆。预训练研究——至少是服务于我们当前这类模型的架构和数据选择方面——在2-3年内实现自动化,这个预测对我而言是合理的。
所有这些都将成为智能体模型领域杰文斯悖论的巨大触发器。我预计需求只会增加,因为该行业在很大程度上受限于想出更好的方式来定位和交付智能体。Meta的Muse智能体是这一点的早期指标,我们应该期待面向不同受众和目标用例的更多类似Muse的体验。它的价值来自理解智能体如何工作,而不是推动性能的前沿。
在生物学和化学等更广泛的科学文献中,相应的阶段将是一个由模型发现大量跨子领域发现的时代。AI模型在爬梳文献、在稀疏网络之间建立联系方面是超人的,而这些网络目前由很少互动的小型科学家社群管理着。这与开启科学发现新时代(例如治愈大多数癌症)之间将只有一线之隔,或者只是加速科学本已所处的轨迹。
另一个工业规模的唾手可得的果实是提升RL环境的整体质量。不用看多远就能发现又一家新的RL数据公司营收突破了1亿美元或10亿美元。它们比我预想的多得多。这个领域的平均产出质量低得惊人。无数研究者都同意,他们买来的很多东西 frankly 就是垃圾。与此同时,领先的实验室从购买这些数据中看到了清晰的投资回报。
许多RL环境之所以糟糕,显然是可修复的。
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。