百度发布ERNIE 5.5 Flash Base基础模型

基础模型的价值既来自预训练所构建的能力，也来自它为后续训练提供的起点。不同领域、推理任务和智能体应用需要不同的数据、训练目标和行为方式。在预训练结束时发布权重，可以让开发者基于已经具备的通用能力继续构建，并自行选择模型下一步的发展方向。

今天我们发布 ERNIE-5.5-Flash-Base，这是一个稀疏混合专家（MoE）语言模型，总参数量 280B，每个 token 激活其中 14B。它基于 33.5T token 从零开始预训练，训练上下文最长 128K，并支持 1M token 的上下文用于微调和推理。本次发布的是预训练结束时的检查点权重，尚未经过任何中期训练或后训练，可作为领域适配、指令微调和强化学习研究的共同起点。

一个基础模型要想值得在其上继续构建，就必须在训练和运行上保持可负担的成本，因此效率从一开始就是设计目标。后续训练会反复从模型中采样，智能体应用则带来多轮交互和长上下文。两者都会增加计算和内存开销。因此，ERNIE 5.5 Flash 在每一个组件中都重新审视了能力与效率之间的权衡，从注意力和残差连接，到 MoE 层和输出头，并将激活计算量、KV cache 和长上下文成本放在一起权衡，而不是逐项单独考虑。

数据和训练系统也遵循同样的思路。训练的每一个后续阶段都建立在预训练所提供的基础之上，因此语料库着重强调那些事后难以补充的能力，例如仓库级代码和长上下文理解。同时，高效架构只有在能够大规模高效训练时才有意义，因此我们将模型与训练系统放在一起设计。

我们希望本次发布能让更多开发者省去大规模预训练的成本，从而将自身资源投入到他们真正关心的能力、任务和训练方法上。

ERNIE 5.5 Flash 拥有 43 层 Transformer，隐藏维度为 4096，注意力头数为 64。

混合 MLA + HCA 注意力：大多数层只需要对较远的历史有一个粗略的视图，因此每七层中只有一层使用多头潜在注意力（MLA）保留对完整上下文的 token 级访问。其余层使用重度压缩注意力（HCA）：每层将每 128 个 token 压缩为一个缓存条目，然后对所有这类条目外加一小段最近的、未压缩的 token 窗口进行注意力计算。因此，HCA 层仍然能看到整个序列，但缓存量仅为全上下文层所需的一小部分。

按层设置头维度：我们没有在所有层中使用相同的头维度，而是根据每层注意力的开销来设置：开销低的层使用宽头，开销高的层使用窄头。HCA 层在压缩 128 倍的序列上进行注意力计算，因此其注意力开销很低，可以用 512 维的宽头而几乎不增加额外计算。MLA 层在 token 级别进行注意力计算，开销更高，因此 query/key 和 value 都使用更窄的 256 维头。

将 KV cache 预算集中到 MLA 层：既然大多数层使用 HCA，主要问题就是如何花掉剩余的 KV cache 预算。一种选择是使用多个压缩稀疏注意力（CSA）层，将历史压缩 4 倍并只对其中选定的部分进行注意力计算。我们则改用少量保留每个 token 的 MLA 层。在相近 KV cache 预算下的预训练对比中，HCA 与 MLA 组合优于 HCA 与 CSA 组合。

全上下文层中的稀疏注意力：MLA 层是唯一逐个查看每个远处 token 的层。如果使用稠密注意力，在长上下文下它们将占据注意力计算的大部分，因此改用稀疏注意力（DSA）。一个轻量级索引器为每个 query 对历史位置打分，核心注意力只在得分最高的 top-k 位置上计算。因此，随着上下文增长，每个 query 的核心注意力开销保持恒定。使用 DSA 后，这些层在预训练损失上与稠密注意力持平，且训练速度显著更快。

注意力层内部还有两项进一步的改动：

传统的 MoE 层使用单个路由器和硬 top-k 来选择专家。我们发现，单个路由器的得分与每个专家实际的有用程度只有弱相关性，尤其是在中间层和更深的层中。而且，由于未进入 top-k 的专家无法从该 token 获得梯度，路由器得不到“选择错误”的信号，错误选择往往会自我强化。

Multi-Router 用多个独立初始化的 sigmoid 路由器替代单个路由器，由它们共同为专家打分。这些路由器会形成明显不同的偏好：一个专家可能因为某个路由器强烈偏好它而被选中，也可能因为多个路由器共同偏好它而被选中，因此错误选择更容易被纠正。任何单个路由器的错误不再决定选择结果，路由对噪声特征和分布偏移也变得不那么敏感。激活专家数量、专家 FLOPs 和通信量保持不变。与单个路由器相比，路由得分与每个专家有用程度的相关性明显更好，中间层和更深层的提升最大。

除第一层外，所有层都使用 MoE 前馈块：

ERNIE 5.5 Flash 用 mHC 替代了标准残差连接：每一层通过一个受约束的混合矩阵，从 4 条并行残差流读取并写入，从而为层与层之间传递信息提供了更宽的通道，而额外计算量可以忽略不计。

（原文较长，此处译出前 6000 字，完整内容请点「打开原文」。）