日均6万亿Token服务背后，商汤大装置如何提升推理效能？

宣善明指出，随着AI应用从对话式问答逐步走向多Agent协作和长任务执行，Token需求呈千倍级增长，AI基础设施正面临需求爆发与算力供给约束并存的新局面。未来，行业竞争的关键不仅是拥有多少算力，而是如何通过架构创新、异构协同和资源调度等，以更低成本、更高效率、更稳定地持续产出高质量Token。

相较于传统对话式问答，单Agent工具调用、多Agent协作以及长任务、无人值守执行，涉及更多模型调用、推理轮次和上下文处理，Token消耗呈现千倍级增长。与此同时，高端芯片供给受限、存量算力与推理任务的资源需求不匹配等问题，使算力供给难以同步扩张。行业数据显示，2026年推理支出预计占AI IaaS总支出的比重将达55%，预计2027年将升至59%。

与此同时，不同应用对Token的需求也存在明显差异。基础问答更关注单位成本和并发能力，办公Agent、客服等场景则对响应延迟和生成速度有更高要求，而科学探索、金融量化等高价值场景则更加重视结果准确性、可审计性与可追溯性等。首Token延迟（TTFT）、生成速度（OTPS）、长上下文缓存、并发能力、调用成功率等指标，共同决定了Token服务的质量与成本。

宣善明讲到：“这意味着，AI基础设施不能再依赖单一硬件配置满足所有任务，而需要根据不同场景的服务要求，对算力资源进行分层组织和精准调度。从规模扩张转向效率优化，从单点硬件替代转向异构协同，成为Agentic时代AI基础设施的重要发展方向。”

面对高端算力供给约束与推理需求增长之间的矛盾，商汤大装置探索分离式推理架构，通过PD分离与异构混合调度，让不同类型的算力承担各自更适合的任务。

在大模型推理过程中，Prefill负责处理输入Token，具有较强的计算密集型特征；Decode负责逐步生成输出Token，需要持续读取上下文缓存，对显存带宽有较高要求。PD分离将二者解耦：由适配的国产算力集中承担Prefill任务，由高带宽的高阶GPU承担Decode任务，再通过KV Cache传输连接两个阶段。这一方案并非简单地将不同芯片组合在一起，而是围绕计算特征、显存带宽和任务需求重新组织算力资源。国产算力由此从承担基础推理任务，进一步参与更高层级的推理服务，在满足不同场景服务质量要求的同时，提升混合集群的整体效率与性价比。

基于这一思路，商汤大装置在临港AIDC持续开展异构推理实践，构建起万卡级异构推理集群。实现这一架构，需要解决不同代际、不同类型算力之间的互联问题，在同一集群中融合800G、400G、200G等不同规格的网络，保障Prefill节点与Decode节点之间KV Cache的高效传输。