
亚马逊研究者提出HOPE方法,对MoE模型专家进行高阶剪枝
来源标题:Your Experts Have Partners. There's HOPE for Keeping Them Together
亚马逊研究者Alex M Tseng提出HOPE方法,用于对混合专家(MoE)语言模型中的专家进行高阶剪枝,以缓解推理时的内存瓶颈。以Qwen3.5-122B为例,其每层256个专家中每个token仅用到8个,专家MLP却占约250GB参数内存的95%。
以下正文由 AI 翻译自 Hugging Face Blog(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
返回文章
你的专家有搭档。有一套方法(HOPE)能让它们保持在一起
企业文章 已发布 2026年11月9日 点赞 - Alex M Tseng alexmtseng 关注 amazon :last-child]:mb-0"> 混合专家语言模型中专家的高阶剪枝 引言 专家并非独自工作 HOPE 如何确定剪枝集 结果 如何运行 HOPE HOPE 的局限性 更多信息 混合专家语言模型中专家的高阶剪枝 引言 混合专家(MoE)模型使最先进的 LLM 得以扩展到数千亿参数,但它们带来一个根本性且代价高昂的附加问题:每个专家 MLP 在推理时都必须占用内存,尽管对于任意给定的 token,绝大多数专家都处于闲置状态。例如,Qwen3.5-122B 在其 48 个 MoE 层中每层有 256 个专家,而其约 250 GB 的参数内存占用中,有 95% 完全由这些专家 MLP 占据。然而,对于任意给定的 token,每一层中实际只用到 8 个专家。 专家剪枝是解决这一内存瓶颈最直接的办法之一。也就是说,永久删除最没用的专家。剪枝避免了使专家的动态加载/卸载变得不切实际的延迟问题;它不需要任何训练;而且可以与量化配合使用。鉴于这些诱人的好处和思路的简洁性,很容易理解为什么专家剪枝已成为缩小 MoE 的常用方法。难点在于决定哪些专家最安全、可以移除。 现有的剪枝方法独立地对每个专家打分,为每个专家分配一个标量重要性分数(基于校准数据集),并(在每一层内独立地)剪掉最不重要的专家。这些是一阶方法,因为它们假设每个专家的贡献与其他所有专家无关。而在现实中,专家会形成协作小组。我们在自己的实验中观察到一致的共激活专家聚类,而独立的研究也表明,专家协作是 MoE 的一种稳定特性,并且对模型性能很重要。忽略这些相互作用会导致次优的剪枝,尤其是在激进的剪枝比例下。 我们的最新论文提出了 HOPE(专家的高阶剪枝),这是一种考虑了专家两两相互作用的二阶方法。在 50% 剪枝率下,HOPE 取得了所有方法中最佳的平均排名,在智能体编程任务上比次优的剪枝方法最多提升 +6.1%。 在本文中,我们解释 HOPE 的工作原理,展示它在哪些方面优于现有方法,并逐步介绍如何将其用于你自己的模型。对于不熟悉 MoE 架构的读者,请参阅 Transformers 中的混合专家(MoE)。 专家并非独自工作 在标准 MoE 中,每一层有 EEE 个专家,每个输入 token xxx 被独立地路由到 KKK 个这样的专家( K=8 K = 8 K=8 是典型选择)。路由由单层执行,该层为每个专家 kkk 生成经 softmax 归一化的门控权重 gk(x)g_{k}(x)gk(x),其中门控权重最高的 KKK 个专家被选中,构成活跃专家集合 T(x)⊂{1,..,E}T(x) \subset{1,..,E}T(x)⊂{1,..,E}。该层的输出则为 ∑k∈T(x)gk(x)fk(x)\sum\limits_{k\in T(x)}g_{k}(x)f_{k}(x)k∈T(x)∑gk(x)fk(x),其中 fk(x)f_{k}(x)fk(x) 是专家 kkk 对 token xxx 的输出。 左图:典型的 MoE 层,每个 token 被路由到 top-K 专家。右图:一阶方法基于标量重要性分数对专家进行排名和删除,但最佳的剪枝决策还会考虑专家之间相互作用的强度。 重要的是,被选中集合 T(x)T(x)T(x) 中的专家并非相互独立。专家会形成稳定的协作小组,持续地被一起共激活。这一点此前也已在文献中被观察到:专家共同选择模式在训练早期就会出现,并在整个过程中趋于稳定。 这意味着,当我们从 MoE 层中剪掉专家时,剪枝决策需要考虑这些专家之间的高阶效应。单独看,移除专家 A 似乎没问题,但如果专家 B——它经常与 A 协作并依赖 A——非常重要,那么移除 A 就会仅仅通过一次删除就瓦解一个协作小组。一阶方法完全忽略了这一点,因为它们将 A 和 B 分开打分。 这种效应在高剪枝率下会进一步加剧。当我们移除多达 50% 的专家时,就有可能破坏许多协作链接。这正是二阶剪枝最具优势的地方。 HOPE 如何确定剪枝集 (关于 HOPE 目标的完整推导,请参见我们相应论文的附录 A) 当我们从某个 MoE 层中删除一组 PPP 个专家时,被选中的专家集合 T(x)T(x)T(x)(对于任意 token xxx)可能会发生变化。原本会被选中的被剪专家,将由门控权重次高的专家替代。由此导致的层输出变化就是剪枝误差。我们的目标是找到剪枝集 PPP(在某个预定义的剪枝预算 ∣P∣\vert P\vert∣P∣ 下),使(在我们的校准集上的 token xxx 上)产生的剪枝误差最小。 不幸的是,直接在 PPP 上最小化剪枝误差是难以处理的。剪枝误差取决于替代专家的身份,而这又取决于剪枝集 PPP 本身。HOPE 通过定义一个可处理的替代量 ZZZ 来绕开这一点,该替代量严格上界了剪枝误差的主要成分: Z=[∑j∈P∩T(x)gj(x)∥fj(x)∥2]2≥true errorZ = \bigl[\sum\limits_{j \in P\cap T(x)} g_{j}(x)\Vert f_j(x)\Vert_{2}\bigr]^{2} \geq \text{true error}Z=[j∈P∩T(x)∑gj(x)∥fj(x)∥2]2≥true error 由于 ZZZ 是一个平方和,展开它自然会生成专家对之间的交叉项 gi(x)gj(x)∥fi(x)∥2∥fj(x)∥2g_{i}(x)g_{j}(x)\Vert f_{i}(x)\Vert_{2}\Vert f_{j}(x)\Vert_{2}gi(x)gj(x)∥fi(x)∥2∥fj(x)∥2。这些正是一阶方法所丢弃的相互作用项。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。