返回资讯中心
外部精选
软件工程
#社区热议

研究者提出跨架构蒸馏方法,将Transformer知识迁移至Mamba

来源标题:Attention to Mamba: A Recipe for Cross-Architecture Distillation

研究者提出一种将Attention模型蒸馏到Mamba架构的有效方案。他们发现,为Mamba引入有原则的初始化后,无需依赖Attention与SSM混合结构,即可弥补此前朴素蒸馏无法保留教师模型性能的缺陷,从而获得更优的跨架构蒸馏方案。

Hacker Newszerop2026/11/11 · 6 天前8 分钟阅读

以下正文由 AI 翻译自 Hacker News(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

Attention to Mamba:跨架构蒸馏的配方

作者:Abhinav Moudgil†、Ningyuan Huang‡、Eeshan Gunesh Dhekane、Pau Rodríguez Lopez、Luca Zappella、Federico Danieli

状态空间模型(SSM)如 Mamba 已成为 Transformer 模型的热门替代方案,相比基于 Attention 的同类模型,它们在生成时内存消耗更低、吞吐量更高。另一方面,社区已经积累了相当丰富的 Transformer 训练知识,许多预训练 Transformer 模型也唾手可得。为了在利用现有预训练 Transformer 的同时促进 SSM 的采用,我们旨在找到一套有效的配方,将基于 Attention 的模型蒸馏为类 Mamba 架构。然而,在先前关于跨架构蒸馏的工作中,已经表明从 Transformer 到 Mamba 的朴素蒸馏过程无法保持原始教师模型的性能,这一局限通常通过结合 Attention 和 SSM 模块的混合方案来克服。我们工作的核心论点是:通过为 Mamba 配备有原则的初始化,我们可以获得一个整体更优的跨架构蒸馏配方。为此,我们提出了一种有原则的两阶段方法:首先,我们使用核技巧的变体,将知识从传统 Transformer 蒸馏到 Attention 的线性化版本中。然后,我们将线性化版本蒸馏到一个不使用任何 Attention 模块的适配 Mamba 模型中。总体而言,蒸馏后的 Mamba 模型保留了原始 Pythia-1B Transformer 的大部分性能,困惑度达到 14.01,接近教师模型的 13.86。这一效果在很大程度上延续到了下游任务,尽管在更依赖上下文回忆的任务上出现了一些差距。为了展示我们配方的有效性,我们在 1B 规模、10B token 下进行了全面的消融实验,变化序列混合器架构,对模型规模和总蒸馏 token 数进行了 scaling 分析,并对两阶段之间的 token 分配进行了敏感性分析。

2025年7月4日 研究领域:方法与算法、语音与自然语言处理 会议:ICML

状态空间模型(SSM),特别是 Mamba,最近已成为 Transformer 的有前景的替代方案。Mamba 在其 SSM 层(S6)中引入了输入选择性,并在其模块定义中融入了卷积和门控。虽然这些修改确实提升了 Mamba 相较于前代 SSM 的性能,但 Mamba 如何利用输入选择性提供的额外功能,以及这些功能如何……目前仍在很大程度上不清楚。

2025年7月1日 研究领域:方法与算法、语音与自然语言处理 会议:ICML

我们提出了一种蒸馏 scaling law,根据计算预算及其在学生模型和教师模型之间的分配来估计蒸馏模型的性能。我们的发现通过为学生和教师实现计算最优分配以最大化学生性能,降低了大规模蒸馏相关的风险。我们为两个关键场景提供了计算最优蒸馏配方:当教师模型已存在时,以及当……

我们在机器学习领域的研究每天都在开辟新天地。

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →