
研究探讨递归生态系统架构与AI未来方向
来源标题:At the Edge of Chaos
AI研究正从静态并行计算转向动态自调节递归系统,探索智能如何从固定表示演化为自进化神经网络生态。文章指出,当前大语言模型受制于硅基扩展极限,真正的智能出现在混沌边缘的相变点。文中将Transformer的残差流比作贯穿模型的连续白板,各层作为专门处理单元逐步加工信息。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
混沌边缘的架构综合:递归生态系统与AI的未来
数十年来,人工智能研究一直在两个极端之间摇摆:静态、并行化计算图的暴力效率,与动态、自我调节的递归系统的生物优雅性。
今天,我们正处于一个关键的转折点。随着最先进的大型语言模型逼近硅基缩放极限,AI范式正在悄然回归第一性原理。我们正在发现,真正的智能并不存在于矩阵乘法的僵化单向流水线中,而是栖息在混沌的边缘——一个精确的相变点,信息在此从冻结的静态表示转变为动态的、自演化的神经网络生态系统。
要理解高级推理如何涌现,我们必须先深入现代堆叠Transformer层的内部。
与其将堆叠的注意力层视为分离、互不关联的黑箱,我们可以将残差流理解为贯穿模型的一条原位连续白板。
每个Transformer层充当一个专门的处理单元。在序列的每一步:
每一步中,模型并不追加新数据;它把不同的视角提炼并覆写到同一块共享白板上。当残差流抵达unembedding投影层时,它已包含一个高度浓缩、多跳的全局语义意图摘要,随时可被翻译回离散的token概率。
我在《理解LLM》中通过将语言视为更高维状态的影子,来展开这幅表征变化的图景。
如果堆叠层代表分层蒸馏,为什么要将架构限制在固定层数?为什么像“the”这样的简单词需要与复杂逻辑谜题完全相同的计算深度?
这正是Universal Transformer(2018)的核心动机。通过复用单个共享Transformer块,并通过Adaptive Computation Time(ACT)动态地将向量循环通过它,研究者实现了:
尽管在理论上优雅,Universal Transformer直接撞上了SIMD/SIMT(单指令多线程)硬件墙:
业界通过“苦涩的教训”做出了适应:保持训练图静态,将递归、多步循环推到推理时,通过外化的草稿纸(例如Chain-of-Thought、测试时搜索树,以及Mixture-of-Depths这类固定预算路由)来实现。
也许“苦涩的教训”有一个甜蜜的续集:让AI学会管理它所运行的硬件。一个学习到的控制器可以尝试将需要相似计算量的token分组,并填补那些提前完成的token留下的空隙。目标是让GPU保持忙碌,同时给更难的问题更多处理时间。控制器仍然必须证明自己的价值:调度和移动数据的成本必须低于它所节省的计算。这笔交易是否划算是一个开放问题,但它为自适应计算提供了另一条前进路径。
关于计算可以被切分到多细粒度的相关问题,参见《我们能将AI模型切到多小?》。
如果我们超越人类 curated 的数据集,人工生命(ALife)和自主AI的终极目标是构建自维持的数字生态系统,无需人类干预即可持续生成新行为。
如果你仅以单一目标函数优化架构,它最终会成为Goodhart定律的受害者——黑掉自己的指标、冻结,或退化为混沌噪声。为了保持在混沌边缘,架构需要内在的演化驱动力:
来源说明:I-JEPA学习预测图像区域的表征;它本身并不定义好奇心奖励或自适应深度控制器。将预测表征、内在奖励和计算路由结合起来是本文的一个提议。
这种综合将现代架构设计引向何方?
超高效、高度自适应智能的新兴蓝图在于混合状态空间/注意力架构(例如Mamba-Transformer模型):
我们正在摆脱将神经网络视为静态模式翻译器的做法。未来属于混合的、受生物启发的架构——像活生物体一样管理计算的系统,平衡能效、内部自我调节和开放式好奇心。
这留下了一个开放的研究问题:一个系统能否同时学习一个问题需要多少计算,以及如何在运行它的硬件上高效调度这些工作?这样的系统必须考虑自身决策的成本,包括移动工作所产生的内存流量。如果它能高效地做到这一点,自适应架构可能会获得更多自由,将计算花在有用之处,同时让硬件保持忙碌于有用的工作。
通过将状态空间动力学的结构效率与动态测试时搜索的迭代能力相结合,我们离AI的圣杯更近了一步:真正自主的、持续学习的生态系统,在混沌的边缘运行。
这一思想在内存和服务方面是《甜蜜点:一个基础大脑和数千个微适配器如何拯救开放AI》的重点。
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。