
研究提出单骨干加微适配器方案,降低开放AI模型硬件门槛
来源标题:The Sweet Spot: How One Brain and Micro-Adapters Could Save Open AI
一种由共享骨干网络、数千个微型专家和更小上下文缓存组成的架构,旨在降低开放AI模型的硬件门槛。当前MoE模型虽只激活约300亿参数,但全部6000亿参数必须常驻内存,导致个人开发者和小团队难以本地部署。该方案试图让独立、私密的AI在集中式数据中心之外也能运行。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
一个共享主干,数千个微型专家,以及更小的上下文缓存。
一家研究实验室宣布了一项开放模型的突破。权重公开,基准测试可与专有巨头媲美,开发者们欢欣鼓舞。然后他们检查了系统要求。加载该模型需要在一整排企业级显卡上配备数百GB的高带宽内存。
权重是开放的,但硬件账单却是一堵无形的墙。
这个问题源于活跃参数与总参数之间的差距。在现代混合专家(MoE)架构中,生成一个词可能只激活三百亿参数。从计算角度看,这相对便宜。但全部六千亿参数必须保持在内存中加载,随时等待被调用。对于服务数千并发用户的超大规模云提供商来说,这笔投资在经济上是合理的。但对于运行本地助手的个人开发者或小团队来说,为大量闲置内存付费使得自托管几乎不可能。
如果独立、私密的AI要在集中式数据中心之外生存,我们需要重新思考这些系统的构建方式。
我在《AI变得越来越好,自己运行却越来越难》一文中讨论了硬件壁垒。本文基于《我们能将AI模型切分到多小?》背后的一个问题:一个模型需要有多少部分同时留在快速内存中?
前进的道路不是构建越来越大的单体模型。相反,模型可以被拆分为一个冻结的主干,搭配一个包含数千个微型专家的库。
中心是一个压缩的、量化的基础模型。这个核心处理通用语法、常识和一般推理。它永久加载在本地GPU内存中,但并不试图记住每个细分领域、晦涩的编程语法或企业政策。
专业能力存在于大量低秩适配器(LoRA)的集合中。专家不再是一个重达数GB的全尺寸神经网络,每个微型专家都是通过狭窄瓶颈压缩的轻薄数学调整。在低秩下,一个专家只有二到五MB。
要在不降低速度的情况下导航数千个这样的适配器,需要一个两步分层路由器:
参数只是战斗的一半。消费级硬件的另一个隐形杀手是上下文缓存:模型用来跟踪对话中先前词语的内存。
在Transformer的早期,标准多头注意力需要为每个注意力头中的每个token存储全分辨率的键和值。随着上下文窗口扩展到数万token,这个暂存区吞噬了芯片上最快的内存。实验室尝试强制头共享内存(多查询和分组查询注意力),但这损害了微妙的推理能力。
突破来自多头潜在注意力(MLA)。MLA不是缓存全分辨率向量,而是将每个token的历史状态压缩成一个紧凑的潜在向量(通常只有512个数字宽)。通过线性代数优化,模型直接针对这些压缩数字计算注意力,而无需将历史缓存解包回其臃肿的形式。
这种压缩之所以有效,是因为人类交流受主题局部性和时间局部性支配:
因为对话的活跃意义生活在一个小得多的低维几何切片上,系统不需要将每个过去的词展开在数百个维度上以防万一。潜在注意力保留了讨论的紧凑坐标,将上下文缓存占用减少了约百分之九十,同时保持推理敏锐。
真正的运营优势出现在跨物理硬件移动数据时。
试图在词与词之间通过PCIe插槽从系统RAM交换一个完整的2GB专家耗时太长,导致生成速度停滞。但流式传输一个5MB的适配器只需一到两毫秒。
因为人类任务在较长时间内保持专注于特定主题,系统不需要同时处理数千个文件:
前沿实验室将继续训练密集的、数千亿参数的集群来推动基准记录。但服务层正在趋同于一个不同的现实:一个共享基础模型动态路由到数千个轻量级适配器。
对于开发者和注重隐私的组织来说,这种模块化设计是摆脱云依赖的逃生舱。它消除了仅仅为了保持闲置权重热乎就需要昂贵多GPU集群的需求。
通过结合压缩潜在注意力、稳定的中央基础和可互换的微型专家,强大的AI可以在可及的硬件上本地运行。你不需要等待消费级计算机配备TB级内存;你只需要一个旨在利用我们已有内存的架构。
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。