MoE路由策略解析：Top-K、Expert-Choice、Sigmoid门控与动态路由

每个 Mixture-of-Experts (MoE) 模型对每个 token 都要重复做一个决定：哪些专家来处理它。这个决定由 router 负责。MoE 路由策略影响着每一个主流开源模型的质量、负载均衡和服务成本。本指南解释生产环境中使用的 7 种路由策略，以及各自对应的模型。

TL;DR

• 规模：Router 从 8 个专家（Mixtral）到 384 个专家（DeepSeek-V4-Pro）中选择，每个 token 激活 1 到 8 个。
• 运行环境：路由成本体现在多 GPU 专家并行中，每次选择都会变成 all-to-all 网络流量。
• 性能：sigmoid 打分配合 aux-loss-free 偏置均衡，是 2026 年前沿开源 MoE 模型的主流方案。
• 最佳：无损失均衡在 1B 规模下将 MaxVio 从 0.72 降到 0.04，同时困惑度更低。
• 最差：Expert choice 在因果模型中会泄漏未来 token；一次测试显示损失异常下降约 10%。
• 结论：最好的一点：基于偏置的均衡不会引入干扰梯度。最差的一点：没有任何 router 能消除服务时负载修正的需要。

什么是 MoE 路由？

MoE 路由是一种机制，把每个 token 发送到一小部分专家网络。Router 为每个专家打分，保留排名靠前的候选，并对其输出加权。只有被选中的专家会运行。例如，Mixtral 8x7B 让每个 token 能访问 47B 参数，但只使用 13B 激活参数。 视频由 marktechpost.com 制作

生产环境中使用的 7 种 MoE 路由策略

1. Softmax top-k token 选择

每个 token 用线性层为所有专家打分，保留得分最高的 k 个。对这 k 个分数做 softmax 得到混合权重。Mixtral 从 8 个专家中选 2 个。gpt-oss-120b 从 128 个中选 4 个。Qwen3-235B-A22B 从 128 个中选 8 个。通常用辅助损失保持专家负载均衡。 使用者：Mixtral、gpt-oss、Qwen3。

2. 带容量因子的 Top-1 switch 路由

Switch Transformer 表明，将每个 token 路由到 1 个专家可以保持质量并减少 router 计算量。每个专家获得固定缓冲区：每批 token 数除以专家数，再乘以容量因子。溢出的 token 通过残差连接跳过该层。Llama 4 Maverick 也将每个 token 发送到 1 个路由专家，外加一个共享专家。 使用者：Switch Transformer、Llama 4 Maverick（带共享专家）。

3. 共享专家加路由专家

DeepSeekMoE 将每层拆分为始终开启的共享专家和稀疏路由专家。共享专家捕获通用知识，这样路由专家可以专注于特化。DeepSeek-V3 使用 1 个共享专家和 256 个路由专家，激活 8 个。Kimi K2、GLM-4.5 和 Qwen3.6-35B-A3B 遵循相同模式。Qwen3 则走了另一条路，移除了共享专家。 使用者：DeepSeek-V3 和 V4、Kimi K2、GLM-4.5、Qwen3.6、Llama 4。

4. 带 aux-loss-free 偏置的 Sigmoid 门控

DeepSeek-V3 用 sigmoid 而不是 softmax 为专家打分。它仅在选择 top-k 时加入每个专家的偏置。每一步之后，过载专家的偏置下降，空闲专家的偏置上升。混合权重仍来自原始分数。GLM-4.5 使用 sigmoid 门控的无损失均衡路由。DeepSeek-V4 将打分改为 sqrtsoftplus，但保留偏置均衡。 使用者：DeepSeek-V3、DeepSeek-V4、GLM-4.5、Kimi K2。

5. 组限制和节点限制路由

将一个 token 发送到多个节点上的专家代价高昂。DeepSeek-V3 将每个 token 限制在 4 个节点内，按最高亲和力分数选择。其配置将专家分成 8 组，在最终 top-8 选择前保留 4 组。DeepSeek 表示，这一限制让训练的计算和通信几乎完全重叠。Kimi K2 完全放弃分组，将 n_group 设为 1。 使用者：DeepSeek-V2 和 V3。

6. Expert choice 路由

Google 的 expert choice 路由翻转了方向。每个专家选择自己的 top-k token，因此每个专家获得固定的桶大小。Token 可以接收数量可变的专家。论文报告训练收敛速度提升 2 倍以上。问题在于因果性：一个 token 的专家可能依赖于后面的 token。DeepSeek 研究人员测得这种泄漏导致损失异常下降约 10%。 使用者：研究和非因果场景。我们配套表格中的 10 个模型都没有使用它。

7. 哈希路由和动态 top-k

哈希路由根据 token ID 分配专家，没有可学习的 router。DeepSeek-V4 在其前 3 个 MoE 层使用哈希路由。动态 top-k 让每个 token 的激活专家数量可变。SMIDT 将其构建到 SGLang 中，将 P99 首 token 时间改善了 1.21 到 1.26 倍。 使用者：DeepSeek-V4（哈希路由）、研究型服务系统（动态 top-k）。

MoE 路由策略对比

策略谁做选择如何均衡负载主要风险使用者 Softmax top-kToken 选择 k 个专家辅助损失损失会牺牲质量Mixtral、gpt-oss、Qwen3 Top-1 switchToken 选择 1 个专家辅助损失 + 容量因子溢出 token 被丢弃Switch、Llama 4 Maverick 共享 + 路由Token 选择路由专家；共享专家始终运行继承路由方法额外的常开计算DeepSeek、Kimi K2、GLM-4.5、Qwen3.6 Sigmoid + 偏置Token 通过带偏置分数选择每专家偏置，无损失梯度单个序列内的不均衡DeepSeek-V3/V4、GLM-4.5、Kimi K2 节点限制Token 在受限节点内选择继承路由方法限制专家选择DeepSeek-V2/V3 Expert choice专家选择 k 个 token由构造固定未来 token 泄漏研究模型 哈希 / 动态Token ID 或可变 k固定映射或自适应 k学习到的特化较少DeepSeek-V4、SMIDT

你应该使用哪种 MoE 路由策略？

大多数团队并不挑选 router。他们在选择 checkpoint 时就继承了一个。在服务之前，阅读 config.json 中的 4 个字段：专家数量、每 token 专家数、共享专家和 topk_method。在推理时更改 top-k 会改变模型本身，因此应将其视为质量实验。对于新的预训练运行，sigmoid 打分配合偏置均衡是当前开源的默认选择。

关键要点

• Top-k token 选择是基线；k 的范围从 1（Llama 4）到 8（DeepSeek-V3、Qwen3）。

（原文较长，此处译出前 6000 字，完整内容请点「打开原文」。）