280B总参数、14B激活！百度开源文心5.5 Flash Base，拿下同尺寸SOTA

智东西 作者 | 三北 编辑 | 漠影 智东西11月5日报道，今日，百度正式发布并开源文心5.5 Flash Base（ERNIE-5.5-Flash-Base）。这款模型采用稀疏MoE架构，总参数量达到280B，每个token仅激活14B参数，在33.5T tokens上从零完成预训练，最长训练上下文达到128K，微调与推理支持1M tokens上下文。 在同尺寸基座模型的正面交锋中，它交出了一份颇具竞争力的成绩单。 根据百度公布的评测结果，ERNIE-5.5-Flash-Base与DeepSeek-V4-Flash-Base（284B-A13B）、Hy3-preview-Base（295B-A21B）、MiMo-V2.5-Base（310B-A15B）等模型同台竞技，在多个能力维度取得领先，拿下同尺寸SOTA（同等规模最优水平），尤其在推理、代码、学科能力以及长上下文任务上的表现更值得关注。 国产基座模型的竞争，正在进入更精细的效率深水区。同等规模下，模型的差异化究竟从哪里来？ 拆解文心5.5 Flash Base的技术细节，我们可以发现，文心试图将效率目标贯穿模型架构、预训练数据和训练系统。从注意力机制到专家路由，再到未来token预测，其主要通过三项“重工”改造，让激活计算、KV Cache（键值缓存）都发挥更大价值。 模型目前已开放权重，并联合vLLM、SGLang等社区提供开源生态支持。 HF FP8: https://huggingface.co/baidu/ERNIE-5.5-Flash-Base HF BF16: https://huggingface.co/baidu/ERNIE-5.5-Flash-Base-BF16 技术博客：https://ernie.baidu.com/zh/release/ernie-5-5-flash-base/ vLLM 插件: https://github.com/baidu/vLLM-ERNIE SGLang Cookbook： https://docs.sglang.io/cookbook/autoregressive/Baidu/ERNIE-5.5-Flash

一、如何做出同尺寸SOTA，底子来自系统合力

首先来看基准测试成绩，正如前文提到，ERNIE-5.5-Flash-Base拿下同尺寸SOTA，推理、代码与学科尤其突出。 基准测试成绩背后，文心5.5 Flash Base的预训练“重工业”属性拉满。 据悉，该模型采用280B总参数的稀疏MoE架构，提供了较大的模型容量；每个token激活14B参数，控制了每个token的计算成本；模型共有43层Transformer，Hidden Size为4096，拥有64个注意力头。这种稀疏设计让模型有机会在计算预算相对可控的情况下，容纳更多专家知识和专业能力。 在算法层面，文心5.5 Flash Base重点改造了注意力机制。模型将HCA（重度压缩注意力）与MLA（多头潜在注意力）组合成混合稀疏注意力，让不同层分工处理历史信息，在压缩长上下文、降低KV Cache开销的同时保留精准检索能力。此外，模型还在注意力层内部引入低秩门控注意力和VHA（虚拟头注意力），进一步优化门控计算与不同注意力头之间的信息融合。 预训练中，文心采用Muon优化器与FP8混合精度，训练上下文逐步扩展至128K。模型发布时提供的是预训练终点的Checkpoint，尚未经过中训练和后训练，开发者可以基于这一统一起点，继续开展领域适配、指令微调、推理强化和Agent训练。 该模型在33.5T tokens上从零完成预训练，语料覆盖广泛的领域与语言，其中重点打造了网页、代码、长文数据这“三驾马车”。 首先是网页数据。通过大规模多语言网页抓取、高保真文本抽取，以及模型驱动的多维质量过滤，构建知识覆盖更广、有效学习信号密度更高的网页语料。 其次是代码数据。除了来自代码仓库和网页的静态代码，文心还补充了commit、issue、pull request、代码评审、需求到PR、多commit轨迹、自动生成测试以及经过CI验证的修复数据。 第三是长文数据。文心同时使用经过长程依赖筛选和质量清洗的天然长文档、拼接天然文本与语义相近干扰文本构造的长序列，以及合成的MRCR式检索、基于引用的问答和多跳问答数据。 这三类数据分别强化知识覆盖、代码工程能力和长上下文理解。其中，仓库级代码和长程依赖能力尤其值得关注，因为这类能力往往需要模型在预训练阶段建立足够扎实的基础，后续单纯依靠补充少量数据很难完全弥补。 除模型架构外，文心在Infra层面改进了分布式Muon优化器，并推出面向大 head dim的注意力算子FlashMask-4，改善大规模训练中的通信、显存利用与计算效率。 可以看到，同尺寸SOTA来自模型架构创新、数据与Infra优化共同作用的结果。底座能力越扎实，后续微调、强化学习和Agent训练能够继续释放的空间也越大。

二、把“效率”写进预训练，详解三处硬改造：省缓存、稳专家、早规划

深挖同尺寸SOTA模型之下的底层技术变化，文心试图通过一套组合拳，把“效率”当成预训练的设计变量。 简单来说，这套组合拳覆盖了模型处理历史信息、调用专家能力和预测未来token的三个关键环节。混合稀疏注意力决定模型如何访问历史，Multi-Router Latent MoE（多路由器隐空间混合专家）决定模型如何选择专家，ECHO（未来token预测机制）则让主干网络提前学习后续token的生成。 再加上MultiMax输出头、R2L分词器等其他模型改进，以及分布式Muon、FlashMask-4（高性能注意力计算组件）等训练基建，才算撑起面向Agent时代的前沿模型底座。 1、Latent-Gated Sparse Attention：37层省缓存，6层保精准检索 AI Agent时代，随着上下文越来越长，模型需要处理和保存的历史信息就越多，KV Cache与注意力计算成本也随之攀升。对于需要多轮调用的Agent应用，这笔开销还会持续累积。 文心5.5 Flash Base采用MLA（多头潜在注意力）与HCA（重度压缩注意力）组合的混合稀疏注意力，重新安排了不同层访问历史信息的方式。 具体来看，模型共43层，其中37层采用重度压缩注意力HCA，其余6层采用多头潜在注意力MLA。HCA层将每128个token压缩为一条缓存条目，注意力只在这些压缩条目和最近一小段未压缩token构成的窗口上计算。这样，每个HCA层只需全上下文层KV Cache的一小部分，仍能保留对整个序列的全局视野。 通俗地说，面对一段很长的历史对话，模型并不需要每一层都逐字记住全部内容，大部分层看压缩后的“摘要”就能把握全局。 但压缩也有代价。某些任务需要精准找到历史中的具体信息，过度压缩可能损失细节。因此，文心5.5 Flash Base保留了6层MLA，使模型能够逐token访问远距离历史信息。 为了控制这6层的计算开销，文心团队进一步引入DSA（稀疏注意力）。一个轻量级Indexer（索引器）会为每个Query（查询）的历史位置打分，核心注意力只在得分最高的Top-K（前K个）位置上计算。这样，模型可以先筛选出更值得关注的历史位置，再对这些位置进行精细计算。核心注意力开销不再随着上下文长度线性增长。百度披露，采用DSA后，这些层的预训练Loss（损失值）与稠密注意力持平，训练速度则显著提升。 文心5.5 Flash Base还调整了KV Cache预算的分配方式。此前一种组合思路是HCA搭配CSA（压缩稀疏注意力），即在HCA之外增加大量压缩稀疏注意力层，先将历史压缩4倍，再从中挑选部分信息计算。文心5.5 FlashBase则将这部分预算集中给少数保留全部token的MLA层。在KV Cache预算相当的预训练对比中，HCA搭配MLA优于HCA搭配CSA。长上下文评测显示，尽管模型仅保留6 层MLA-DSA，仍在6项长上下文Benchmark上取得不错效果。 除了注意力层之间的分工，文心团队还在注意力内部做了两处改造。 一是低秩门控注意力（Low-Rank Gated Attention）。传统门控注意力需要根据当前层的隐状态计算输出门，文心5.5 Flash Base则直接利用注意力层本身生成的低秩Query Latent（查询潜变量）计算门控。由于Query Latent的维度只有隐状态的四分之一，门控投影的权重参数量减少了75%。同时，消融实验显示，这一设计也带来了模型效果提升。 二是虚拟头注意力（Virtual Head Attention，VHA）。它在注意力计算之后增加轻量级跨头低秩混合，并通过增加带恒等跳连的轻量跨头低秩混合，增强不同注意力头之间的信息融合。推理时，这部分计算可以融合进注意力算子，额外开销极小。 从HCA和MLA的分工，到DSA的稀疏检索，再到低秩门控和跨头融合，文心团队试图让注意力机制在历史信息压缩、精准访问和计算效率之间找到更好的平衡。 2、Multi-Router Latent MoE：多路由协同决策，提升专家选择稳健性 传统MoE只用一个路由器给专家打分，再通过一次硬Top-K选出专家。文心团队发现，这个打分与专家的实际效用只是弱相关，中深层尤其明显；落选的专家拿不到该token的梯度，一旦选错就很难纠正，错误会不断自我强化。 因此，文心5.5 Flash Base引入Multi-Router Latent MoE，让多个独立初始化的Sigmoid（逻辑函数）路由器共同为专家打分。这些路由器的偏好会明显分化：一个专家只要被某个路由器强烈看好，或者同时获得多个路由器的认可，就有机会被选中。这相当于给专家选择增加了多个独立判断视角。单个路由器出现偏差时，其他路由器仍有机会提供补充信息，从而降低一次错误判断对最终路由结果的影响。 更重要的是，这套机制在提升路由稳健性的同时，没有增加专家计算成本。根据技术Blog，激活专家数、专家FLOPs和通信量均与单路由器完全相同。与单路由器相比，路由打分与专家实际效用的相关性明显提升，原本相关性最弱的中深层提升最大。除第一层外，各层FFN（前馈神经网络）均为MoE块：512个路由专家选10，外加1个共享专家，负载均衡采用无辅助损失的bias修正方案。 专家计算本身也做了压缩。相较于全宽专家（直接在完整4096维上计算）的计算方式，文心5.5 Flash Base先将token从4096维投影到2048维隐空间，让专家在这一隐空间中完成计算，再通过一次共享上投影映射回原空间。这一设计使专家FLOPs和Dispatch/Combine（分发与合并）通信量约减半。 此外，MoE模块还采用Stable LatentMoE（稳定潜在混合专家）设计，通过上投影前的RMSNorm（均方根归一化）与SiTU-GLU（SiTU门控线性单元）专家激活，让专家输出在43层网络中保持合适的尺度，提升优化稳定性。每个路由专家的路由权重还会乘以该专家自己的可学习标量。 从多个路由器共同决策，到2048维隐空间计算，Multi-Router Latent MoE同时处理了专家选择的稳健性和专家计算成本问题。 3、ECHO：复用主干网络预测未来 token，提升多步起草质量 第三项创新ECHO，瞄准的是模型训练中的未来Token预测。 传统语言模型主要通过下一个token预测进行训练。为了让模型学习预测后续多个token，业界也引入了多token预测（MTP）机制，通常会在主干网络之外增加专用模块，负责预测未来token。这种方式能够提供额外的训练监督，但也带来了一个问题：多步预测损失主要作用于新增的MTP模块，主干网络各层仍然主要服务于下一个token的生成。 文心的ECHO改变了这一结构。它直接复用主干网络自身的最后一层承担未来token预测，不再需要独立的MTP Transformer层。多步预测损失也因此直接作用于生成下一个token 的参数，促使主干网络提前学习序列的后续展开。 百度披露，文心5.5 Flash Base以单步ECHO完成预训练，在推理与代码等任务上带来明显收益。 这一层还可直接充当投机解码的内置draft模型：它复用主干最后一层，不增加额外参数，更值得关注的是，它在预训练时只学多预测1个token，作为draft模型却能连续向后起草多个token，接受率高于用同样方式训练的外挂MTP模块。对Agent应用和多步交互来说，这种设计把训练期的未来预测与推理期的加速连接起来，效率收益贯穿模型生命周期。 除了以上三项核心创新，文心5.5 Flash Base还在其他配套基建方面进行了改进。 比如MultiMax输出头，其通过可学习的分段温度，对不同token的输出进行调制，既压制不合理token的长尾，又保留合理候选token的多样性。相关计算在融合的交叉熵Kernel中完成，训练开销可以忽略，也不额外增加显存，同时能够显著降低预训练Loss。 再比如R2L分词器，模型采用全新的BPE分词器，词表约20万。针对数字，采用从右到左、最多三位一组的切分方式，这种设计有助于模型处理算术任务和数字密集型文本。 这些改动看起来分散，实际上都在解决模型训练与推理中的具体效率问题。

三、从堆参数到拼底座，每token效率决定主动权

大模型的效率竞争，正在从单纯压缩激活参数，延伸到模型内部每一个关键计算环节。 过去，MoE架构通过稀疏激活减少计算量，长上下文技术通过压缩KV Cache控制存储成本。如今，百度文心进一步将这些设计组合起来，从注意力的信息访问、专家路由的决策方式，到主干网络的未来token预测，逐层优化每个token背后的计算过程。 这种变化与Agent应用的发展密切相关。Agent执行任务时，往往需要反复调用模型、读取大量上下文、使用工具并进行多轮推理。单次生成的成本只是其中一部分，随着任务链条拉长，KV Cache存储、重复计算和推理延迟都会不断累积。 因此，一款面向未来应用的Base模型，需要同时考虑模型容量、激活计算、长上下文成本和后续训练的可扩展性。文心5.5 Flash Base的设计思路正是如此。 对于开发者来说，开源Base权重的价值也由此进一步凸显。 百度将最新的文心Base模型开源，为不同领域的开发者提供了统一起点，让开发者可以根据自己的任务需求开展领域适配、指令微调、推理强化和Agent训练，也能够在预训练基础上对不同训练方法进行对照评估。 从行业竞争来看，同尺寸模型正在比拼每token激活效率、长上下文处理成本以及底座能力的可复用性。谁能把效率设计沉淀到预训练阶段，谁就更有机会在后续模型迭代和应用落地中掌握主动权。

结语：Base即SOTA只是开场，正式版将至

百度此次开源文心5.5 Flash Base，是其在大规模预训练阶段对模型效率的一次系统性探索。 从混合稀疏注意力到多路由器MoE，再到ECHO，三项核心技术分别改造了历史信息访问、专家选择和未来token预测。再叠加数据建设、分布式Muon和FlashMask-4等训练基建，文心试图把模型能力与计算效率一起沉淀到Base底座中。 智东西获悉，目前开源的仍是预训练终点权重，文心5.5 Flash正式版也将于近期发布。 对于开发者和整个开源社区来说，这个Base模型提供了一个新的起跑线。接下来，如何在这一底座上继续释放推理、代码、长上下文和Agent能力，将是文心 5.5 Flash正式版更值得期待的看点。