研究对比DeepSeek、Qwen、Mixtral、Llama 4、gpt-oss等10款开源MoE模型的路由配置

开源混合专家（MoE）模型共享同一个理念，但在几乎所有路由细节上却各不相同。专家数量从8个到384个不等。Top-k从1到8不等。有些模型保留一个常开的共享专家，另一些则取消了它。

摘要

• 规模：10个模型，从Qwen3.6-35B-A3B（总参数35B，激活参数3B）到DeepSeek-V4-Pro（总参数1.6T，激活参数49B）。
• 运行条件：gpt-oss-120b采用MXFP4时可在单块80 GB GPU上运行；DeepSeek-V4-Pro和Kimi K2需要多GPU专家并行。
• 性能：路由稀疏度跨度从Mixtral的4倍（8个专家，top-2）到Llama 4 Maverick的128倍（128个专家，top-1）。
• 最佳实践：Kimi K2发现，在验证损失相同时，稀疏度48所需的FLOPs比稀疏度8少1.69倍。
• 最差实践：Llama 4 Maverick和gpt-oss未在config.json中公布其门控或均衡方法。
• 结论：最好的一点是：配置使路由完全可审计。最差的一点是：“17B激活”这样的名称掩盖了截然不同的路由器。

开源MoE模型如何路由token？

以下每个模型都使用token选择路由：每个token自行选择专家。它们在5个调节项上有所不同。这些调节项分别是专家数量、每个token的专家数、共享专家、评分函数和负载均衡方法。下表列出了每个模型对应的各项调节项。

MoE路由对比表（2026年11月）

模型总参数/激活参数路由专家数Top-k共享专家门控负载均衡 Mixtral 8x7B47B / 13B820对top-k做Softmax辅助损失，系数0.02（配置） gpt-oss-120b117B / 5.1B12840对选中项做Softmax未披露 Qwen3-235B-A22B235B / 22B12880Softmax，top-k归一化全局批次辅助损失，系数0.001 Qwen3.6-35B-A3B35B / 3B25681未披露辅助损失，系数0.001（配置） Llama 4 Maverick400B / 17B12811未披露未披露 DeepSeek-V3671B / 37B25681Sigmoid无辅助损失偏置（noaux_tc） DeepSeek-V4-Pro1.6T / 49B38461sqrtsoftplusnoaux_tc；3层中使用哈希路由 DeepSeek-V4-Flash284B / 13B25661sqrtsoftplusnoaux_tc；3层中使用哈希路由 Kimi K21.04T / 32B38481Sigmoidnoaux_tc + 序列辅助，alpha 0.001 GLM-4.5355B / 32B16081Sigmoid无损失均衡路由 来源：各模型的Hugging Face config.json、模型卡或技术报告，于2026年11月7日核实。Qwen3.6和Llama 4的配置与模型卡省略了门控信息。gpt-oss和Llama 4省略了均衡方法。

DeepSeek-V3的路由如何工作？

DeepSeek-V3用sigmoid对256个路由专家打分，然后对选中分数做归一化。一个按专家设置的偏置引导top-8选择，但不影响混合权重。专家分为8组，路由器先保留4组。根据技术报告，每个token最多到达4个节点。每个token都有一个共享专家运行。

DeepSeek-V4的路由有何变化？

DeepSeek-V4将Pro的路由专家数提升到384个，但将top-k从8降到6。评分函数变为sqrtsoftplus。前3个MoE层使用哈希路由，即固定的token到专家映射。基于偏置的noaux_tc均衡保持不变。

Qwen3 MoE使用多少专家？

两个原始Qwen3 MoE模型都使用128个专家，并将每个token路由到8个专家。Qwen3取消了Qwen2.5-MoE的共享专家，并采用了全局批次均衡损失。根据其模型卡，Qwen3.6-35B-A3B改变了路线：256个专家，8个路由专家加1个共享专家。

Llama 4 Maverick的路由有何不同？

Llama 4 Maverick交替使用稠密层和MoE层。在每个MoE层中，一个token会进入1个共享专家和128个路由专家中的1个。这种top-1设计呼应了Switch Transformer。尽管总参数为400B，它仍保持17B激活参数。

gpt-oss如何路由token？

gpt-oss-120b在128个专家上使用线性路由器，并保留top 4。其配置未列出共享专家。其MoE权重以MXFP4格式提供，这使得这个117B模型能够装入单块80 GB GPU。

为什么Kimi K2和GLM-4.5看起来像DeepSeek-V3？

Kimi K2采用DeepseekV3ForCausalLM架构类和noaux_tc路由器。它在相同top-8下将路由专家数提升到384个。Kimi K2报告发现，在固定激活计算量下，更高的稀疏度降低了损失。GLM-4.5则选择了160个专家和更多层，偏好深度而非宽度。

这一趋势对服务部署意味着什么

每层更多专家意味着更多权重常驻内存，以及更多all-to-all通信。更低的top-k（如DeepSeek-V4）削减了每个token的计算和通信。共享专家增加了一条每个token都要付出代价的稠密路径。在为任何MoE部署规划GPU规模之前，请检查这些字段。

关键要点

• 专家数量从8个（Mixtral）增长到384个（Kimi K2、DeepSeek-V4-Pro）。
• Top-k现在从1（Llama 4）到8（DeepSeek-V3、Qwen3、Kimi K2、GLM-4.5）不等。
• 10个模型中有7个保留1个共享专家；Mixtral、gpt-oss和Qwen3没有。
• 带偏置均衡的Sigmoid或sqrtsoftplus是DeepSeek系列的标准做法。
• Llama 4和gpt-oss未公布门控或均衡细节。 模型来源：DeepSeek-V4-Pro、DeepSeek-V3报告、Qwen3报告、Kimi K2报告、GLM-4.5报告、Mixtral论文。另见gpt-oss-120b和Llama 4公告。 另外，欢迎在Twitter上关注我们，别忘了加入我们15万+的ML SubReddit并订阅我们的新闻通讯。等等！你在Telegram上吗？现在你也可以在Telegram上加入我们。 需要与我们合作推广你的GitHub Repo、Hugging Face页面、产品发布、网络研讨会等？联系我们。 文章《Which Routing Does Each MoE Model Use? DeepSeek, Qwen, Mixtral, Llama 4, gpt-oss Compared》首发于MarkTechPost。