这个双十一，百灵新模型干起活来不烧心

模型拥有约560B总参数，每个Token激活约25B。在保留知识容量的前提下，Ling-3.1-flash把单步真正参与计算的权重规模给压了下来。

注意力结构上，它延续了Ling-3.0-flash的架构，并进一步提高了线性Attention的比例。

其采用7层KDA配1层Gated MLA的方式，KDA负责线性时间复杂度的序列处理，每8层保留1层Gated MLA，维持全局注意力通路。

模型上下文窗口上限可达1M，能一次性容纳更多文档、代码和历史任务，减少人工切分和反复搬运信息的功夫。

同时模型设置512个路由专家，每个Token选择其中8个，并同时调用1个共享专家。

这种混合线性加稀疏MoE的路子，目的只有一个：让模型在长时间执行里不掉链子，也不至于把算力烧穿。

此外，团队也在积极降低部署门槛，通过混合精度量化，模型权重占用从约534GB降至292GB，在对应的Hopper测试配置中，部署所需GPU由8卡降至4卡。

面向具体业务，团队还提供长上下文并行推理方案（PCP/DCP），并加强对JSON Schema的支持，让模型更方便地处理长资料、对接现有业务接口。