首Token延迟降低32.4%！是石科技集群调度大招，国产推理再提效

Goodput，即达标输出吞吐，计算的是：完整测试时段内，成功完成且满足约定服务要求的请求所产生的输出Token总量，除以测试时长。不同任务类别需要分别定义达标门槛并报告结果。

系统将达标吞吐、失败、取消与重复执行情况反馈给调度策略，持续调整准入和容量比例。GPU有多忙、总吞吐有多高，都需要与最终的合格交付一起看。

在是石科技给出的GLM5.3收益测算示例中，采用流控协同调度后，总输出吞吐增加约1.5%，达标输出吞吐提高约29.4%，达标比例从约67%升至约86%。

△表2 SLOMax有效Token吞吐收益测算示例。数据来源：是石科技大会演讲材料。本表为收益测算示例；达标比例沿用原文取整值，变化约19个百分点。

这组数值属于收益测算，展示了调度希望改善的产出结构。实际收益仍需结合具体负载与服务门槛验证。

同样规模的总产出，如果能减少超时、取消和重复计算，就有机会交付更多达标Token。SLOMax把这些结果纳入反馈，用于调整后续资源分配。

TokenFleet把推理服务的优化推进到集群层面。实例性能如何分配给不同请求，多个机房的容量如何参与服务，都需要调度把资源与业务要求接起来。

是石科技（METASTONE）是一家独立第三方全栈算力运营商，不绑定任何特定大模型厂商，为客户提供涵盖硬件、组网、调度、优化与运营的一站式全栈算力交付服务。

凭借源自国家级计算中心的丰富经验，其算力集群运行SLA达到99.95%以上。目前，是石科技已纳管超过20000P+的算力资源，运营10多个超智算中心，其中有2个国家级超算中心；团队成员曾荣获3项戈登·贝尔奖，积累了超大规模集群的全栈技术服务经验。

围绕国产Token优化工厂，是石科技以自研自用持续打磨软件能力，希望让通用、高频的推理服务更经济，让国产算力发挥更多能力。

此前发布的Meta-Infer高效推理引擎，着力提升单个推理实例的执行效率。此次TokenFleet则把重点放在集群调度，通过请求分配、容量协同与混合负载治理，组织规模化服务。

让更多业务用得起、用得好Token，既需要硬件提供算力，也需要软件把产能组织起来。

TokenFleet把进一步优化的方向，落在了每一次请求如何被分配、每一份容量如何被使用上。