
Cerebras将GPU与晶圆级引擎结合,推出分离式推理方案
来源标题:Cerebras Disaggregated Inference
Cerebras部署了分离式推理方案并已投入生产,由GPU负责提示处理(prefill),Cerebras系统负责输出生成(decode)。该方案在保持同等速度下,每兆瓦可输出五倍于以往的token数量,可服务其推理云及合作伙伴数据中心。Cerebras称,结合CS-4及规划中的700MW数据中心容量,该方案将支撑2027年及以后的超快token需求。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
我们已将Cerebras晶圆级引擎与GPU结合部署,以大规模提供极速token
世界对极速token的需求如饥似渴。2026年,Cerebras无论是在自有推理云上还是通过合作伙伴,都感受到了对快速推理的巨大需求。为满足这一需求,我们开始开发分离式推理:由GPU处理提示词处理(prefill),由Cerebras系统负责输出生成(decode)。
该方案目前已投入生产,在保持Cerebras同等极速的前提下,每兆瓦可交付的token量提升了五倍。
我们现在可以通过Cerebras推理云提供更多极速token,以满足市场需求。基础设施合作伙伴也可以利用Cerebras的分离式方案,在自有数据中心内获得更多极速token。
结合我们近期发布的CS-4、大幅扩张的制造能力,以及计划中的700MW数据中心容量,分离式推理将使Cerebras及合作伙伴能够在2027年及以后提供更多的极速token。
Muse、Copilot、Codex等智能体应用正在快速扩张,需要高度交互式的推理来维持用户参与度。在电力受限的环境中满足这些应用日益增长的需求,整个行业必须以足以让这些应用真正有用的响应速度,每兆瓦交付显著更多的推理容量。
自2026年以来的增长 24× AI推理需求 2.2× 数据中心容量 来源:Goldman Sachs Research,《AI Agents Forecast to Boost Tech Cash Flow as Usage Soars》,2026年5月20日;Goldman Sachs数据中心容量估算,据Investing.com 2026年11月6日报道。
这正是Cerebras投资分离式架构的原因。将负责提示词处理的prefill加速器与负责响应生成的Cerebras系统配对,可在保持Cerebras极速生成速度的同时,提升每兆瓦的token吞吐量。对推理服务提供商而言,这意味着在相同电力预算下拥有更多服务客户的容量和更大的收入潜力。
TOKEN量 价格(美元/百万TOKEN) 分离式 一体化 分离式 速度溢价 收入潜力增长
为什么Cerebras在decode上更具优势
一次推理请求包含两个主要阶段。提示词处理(即prefill)处理输入并生成中间模型状态。响应生成(即decode)利用该状态生成输出token。拆分推理负载的方式有很多,包括草稿—目标模型、注意力—FFN等,但当目标是高度交互式推理时,将prefill与decode分离具有独特优势。
GPU 一体化服务 草稿/基础 草稿模型提议,目标模型验证 注意力—FFN 注意力与FFN分离 Prefill—decode GPU prefill + Cerebras decode 较慢 较快
Decode是自回归的。这意味着模型一次生成一个token,并将每个已生成的token作为输入来生成下一个。每一步都意味着要从内存中重新读取模型数据,因此内存带宽至关重要。在极速推理领域,以SRAM为核心的芯片具有优势,因为它们可以将这些数据保留在片上并以快得多的速度读取。Cerebras将这一优势扩展到晶圆级,单芯片上拥有数十GB的SRAM和每秒数十PB的内存带宽——是典型GB300 GPU的350倍SRAM容量和5,400倍内存带宽。这使Cerebras系统能够将更多并发请求和模型层直接容纳在芯片上,从而使CS-3、CS-4和CS-5能够以极具吸引力的吞吐量实现极速。
将专为极速decode优化的Cerebras系统与非常适合prefill计算需求的加速器(如AMD Instinct GPU)配对,可以大规模交付海量极速推理。在Cerebras推理云的生产部署中,AMD Instinct GPU处理提示词,Cerebras CS-3系统生成响应。将提示词处理转移到GPU,使Cerebras系统能够将其服务容量专用于响应生成。在我们实测的生产部署中,这一组合每兆瓦的吞吐量是仅使用CS-3配置的5倍,且token生成速度没有任何损失。
启用分离式后 5× 来源:2026年11月14日通过Cerebras推理云共享的GPT-OSS-120B端点,启用分离式推理前后每兆瓦吞吐量,已按一体化推理基线(1×)归一化。
我们计划到2027年底,在Cerebras推理云及合作伙伴部署中,将分离式推理广泛部署到数百兆瓦的规模。我们的目标是增加可供客户使用的极速推理容量。
Cerebras分离式推理方案同样为合作伙伴采用而构建。基础设施合作伙伴可以基于Cerebras提供的参考架构部署分离式推理集群,在统一网络中将所选prefill加速器与Cerebras系统同址部署。在软件集成方面,合作伙伴既可以集成Cerebras端到端分离式软件栈,也可以使用仅decode的SDK。
端到端分离式软件栈最适合优先考虑上市时间的合作伙伴。它包括:
仅decode的SDK最适合优先考虑控制权的合作伙伴。借助仅decode的SDK,合作伙伴可以将自己的推理框架和prefill引擎接入Cerebras decode引擎和KV Portal软件。此外,仅decode的SDK还提供开发辅助工具,例如模拟的Cerebras decode副本,以及与开源分离式推理框架和prefill引擎的参考集成。
请求 返回 推理框架(合作伙伴或Cerebras提供) Prefill引擎(合作伙伴或Cerebras提供) KV Portal(Cerebras提供) Decode引擎(Cerebras提供) Prefill加速器(合作伙伴或Cerebras提供) CSX系统(Cerebras提供) 参考设计(Cerebras提供) 追踪一次请求
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。