百度发布ERNIE 5.5 Flash Base基座模型

基座模型的价值既体现在预训练所构建的能力上，也体现在它为后续训练提供的起点上。不同领域、推理任务和智能体应用需要不同的数据、训练目标和行为模式。在预训练结束时发布权重，可以让开发者基于已经具备的通用能力继续构建，并自行决定将模型带向何方。

今天，我们发布 ERNIE-5.5-Flash-Base，这是一个稀疏混合专家（MoE）语言模型，总参数 280B，每个 token 激活 14B。它基于 33.5T token 从零开始预训练，训练上下文长度最高 128K，并支持 1M token 上下文用于微调和推理。此次发布的权重是预训练结束时的检查点，尚未经过任何中期训练或后训练，可作为领域适配、指令微调和强化学习研究的共同起点。

一个基座模型要值得在此基础上继续构建，就必须在训练和运行上保持可负担的成本，因此效率从一开始就是设计目标。后续训练会反复从模型中采样，智能体应用则带来多轮交互和长上下文。这两者都会增加计算和内存开销。因此，ERNIE 5.5 Flash 在每个组件中都重新审视了能力与效率之间的权衡，从注意力和残差连接到 MoE 层和输出头，将激活计算量、KV cache 和长上下文成本放在一起权衡，而不是逐项单独考虑。

同样的思路也塑造了数据和训练系统。训练的每一个后续阶段都建立在预训练所提供的基础之上，因此语料库侧重于那些之后难以补充的能力，例如仓库级代码和长上下文理解。而且，高效架构只有在能够大规模高效训练时才有意义，因此我们将模型与训练系统放在一起设计。

我们希望本次发布能让更多开发者省去大规模预训练的成本，从而将自身资源投入到他们真正关心的能力、任务和训练方法上。

ERNIE 5.5 Flash 拥有 43 层 Transformer，隐藏层大小为 4096，注意力头数为 64。

混合 MLA + HCA 注意力：大多数层只需要对遥远过去有一个粗略的视图，因此每七层中只有一层使用多头潜在注意力（MLA）保留对完整上下文的 token 级访问。其余层使用重度压缩注意力（HCA）：每层将每 128 个 token 压缩为一个缓存条目，然后对所有这类条目加上一小段最近未压缩 token 的窗口进行注意力计算。因此，一个 HCA 层仍然能看到整个序列，而缓存的量仅为全上下文层所需的一小部分。

按层设置头维度：我们没有在所有层中使用相同的头维度，而是根据每层注意力的开销来设定：开销低的层使用宽头，开销高的层使用窄头。HCA 层在压缩了 128 倍的序列上进行注意力计算，因此其注意力开销很低，可以负担 512 维的宽头而几乎不增加额外计算。MLA 层在 token 级别进行注意力计算，开销更高，因此 query/key 和 value 均使用更窄的 256 维头。

将 KV cache 预算集中在 MLA 层：由于大多数层采用 HCA，主要问题在于如何花费剩余的 KV cache 预算。一种选择是使用多个压缩稀疏注意力（CSA）层，这类层将历史压缩 4 倍，并且只对其中选定的部分进行注意力计算。我们则选择使用少数几个保留每个 token 的 MLA 层。在相似 KV cache 预算下的预训练对比中，HCA 与 MLA 的组合优于 HCA 与 CSA 的组合。

全上下文层中的稀疏注意力：MLA 层是唯一逐个看到每个遥远 token 的层。如果使用稠密注意力，它们在长上下文长度下将占据大部分注意力计算量，因此改用稀疏注意力（DSA）。一个轻量级索引器为每个 query 对过去位置打分，核心注意力仅在得分最高的 top-k 位置上计算。因此，随着上下文增长，每个 query 的核心注意力开销保持恒定。使用 DSA 后，这些层在预训练损失上与稠密注意力相当，且训练速度显著更快。

注意力层内部还有两项进一步改动：

传统 MoE 层使用单一路由器加硬性 top-k 来选择专家。我们发现，单一路由器的得分与每个专家实际的有用程度仅呈弱相关，尤其是在中间层和更深层。而且，由于未进入 top-k 的专家不会从该 token 获得梯度，路由器得不到“选错了”的信号，错误选择往往会自我强化。

多路由器（Multi-Router）用多个独立初始化的 sigmoid 路由器取代单一路由器，这些路由器联合为专家打分。各路由器会形成明显不同的偏好：一个专家可能因为某个路由器强烈偏好它而被选中，也可能因为多个路由器共同偏好它而被选中，因此错误选择更容易被纠正。任何单个路由器的错误不再决定选择结果，路由对噪声特征和分布偏移的敏感度也随之降低。激活专家数量、专家 FLOPs 和通信量保持不变。与单一路由器相比，路由得分与每个专家有用程度的相关性明显更好，中间层和更深层的提升最大。

除第一层外，所有层都使用 MoE 前馈块：

ERNIE 5.5 Flash 用 mHC 取代了标准残差连接：每一层通过一个受约束的混合矩阵从 4 条并行残差流读取并写入，从而为层与层之间传递信息提供了更宽的通道，而额外计算量可以忽略不计。

（原文较长，此处译出前 6000 字，完整内容请点「打开原文」。）