返回资讯中心
外部精选
软件工程
#社区热议

Cerebras部署GPU与晶圆级引擎分离式推理,每兆瓦token吞吐提升五倍

来源标题:Cerebras Disaggregated Inference

Cerebras推出分离式推理方案:由GPU负责提示预处理(prefill),Cerebras晶圆级引擎负责输出生成(decode),目前已投入生产环境。该方案在保持同等速度下,每兆瓦token吞吐量提升至原来的五倍,Cerebras Inference Cloud及基础设施合作伙伴均可使用。

Hacker Newsemschwartz2026/11/18 · 今天16 分钟阅读

以下正文由 AI 翻译自 Hacker News(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

我们已将 Cerebras 晶圆级引擎与 GPU 配合部署,以大规模提供极速 token

世界对极速 token 的需求如饥似渴。2026 年,Cerebras 在自家推理云和合作伙伴渠道上都看到了对快速推理的旺盛需求,而且这种需求似乎永无止境。为满足需求,我们开始开发分离式推理:由 GPU 负责提示处理(prefill),由 Cerebras 系统负责输出生成(decode)。

该方案现已投入生产,在保持 Cerebras 同等极速的前提下,每兆瓦可交付的 token 量提升至原来的五倍。

我们现在可以通过 Cerebras Inference Cloud 提供更多极速 token,以满足市场需求。基础设施合作伙伴也可以利用 Cerebras 的分离式方案,在自有数据中心内获得更多极速 token。

结合我们近期发布的 CS-4、大幅扩大的制造能力,以及规划中的 700MW 数据中心容量,分离式推理将帮助 Cerebras 及合作伙伴在 2027 年及以后提供更多极速 token。

Muse、Copilot、Codex 等智能体应用正快速扩张,需要高度交互式的推理来维持用户参与度。在电力受限的环境中满足这些应用日益增长的需求,全行业必须大幅提升每兆瓦的推理容量,同时保持让这些应用真正有用的响应速度。

2026 年以来的增长 24× AI 推理需求 2.2× 数据中心容量 来源:Goldman Sachs Research,《AI Agents Forecast to Boost Tech Cash Flow as Usage Soars》,2026 年 5 月 20 日;Goldman Sachs 数据中心容量估算,据 Investing.com 2026 年 11 月 6 日报道。

正因如此,Cerebras 才投入分离式架构。将负责提示处理的 prefill 加速器与负责响应生成的 Cerebras 系统搭配,可在保持 Cerebras 极速生成能力的同时,提高每兆瓦的 token 吞吐量。对推理服务提供商而言,这意味着在相同电力预算下可以服务更多客户,收入潜力也更大。

TOKEN 量 价格(美元/百万 TOKEN) 分离式 一体化 分离式 速度溢价 收入潜力提升

为什么 Cerebras 在 decode 上更具优势

一次推理请求包含两个主要阶段。提示处理(即 prefill)负责处理输入并生成中间模型状态;响应生成(即 decode)利用该状态生成输出 token。拆分推理负载的方式有很多,包括 draft–target、attention–FFN 等,但当目标是高度交互式推理时,将 prefill 与 decode 分离具有独特优势。

GPU 一体化服务 Spec/base 草稿模型提出,目标模型验证 Attention–FFN Attention 与 FFN 拆分 Prefill–decode GPU 做 prefill + Cerebras 做 decode 较慢 较快

Decode 是自回归过程。也就是说,模型一次生成一个 token,并将每个已生成的 token 作为输入来生成下一个。每一步都意味着要再次从内存读取模型数据,因此内存带宽至关重要。在极速推理领域,以 SRAM 为中心的芯片具有优势,因为它们可以将数据保留在片上并以快得多的速度读取。Cerebras 将这一思路推向晶圆级:单芯片拥有数十 GB 的 SRAM 和每秒数十 PB 的内存带宽——SRAM 容量是典型 GB300 GPU 的 350 倍,内存带宽是其 5,400 倍。这使 Cerebras 系统能够将更多并发请求和模型层直接放在芯片上,从而让 CS-3、CS-4 和 CS-5 以有吸引力的吞吐量实现极速。

将专为极速 decode 优化的 Cerebras 系统,与非常适合 prefill 计算需求的加速器(例如 AMD Instinct GPU)搭配,可以大规模交付海量极速推理。在 Cerebras Inference Cloud 的生产部署中,AMD Instinct GPU 处理提示,Cerebras CS-3 系统生成响应。将提示处理转移到 GPU,使 Cerebras 系统能够将服务容量专门用于响应生成。在我们实测的生产部署中,这一组合每兆瓦吞吐量达到仅使用 CS-3 配置的 5 倍,且 token 生成速度没有任何损失。

启用分离式后 5× 来源:2026 年 11 月 14 日通过 Cerebras Inference Cloud 共享的 GPT-OSS-120B 端点,在启用分离式推理前后的每兆瓦吞吐量,已归一化到一体化推理基线(1×)。

我们计划到 2027 年底,在 Cerebras Inference Cloud 和合作伙伴部署中,将分离式推理广泛部署到数百兆瓦的规模。我们的目标是增加可供客户使用的极速推理容量。

Cerebras 分离式推理方案也为合作伙伴采用而设计。基础设施合作伙伴可以基于 Cerebras 提供的参考架构部署分离式推理集群,将自选的 prefill 加速器与 Cerebras 系统放在统一网络内共置。在软件集成方面,合作伙伴既可以对接 Cerebras 端到端分离式软件栈,也可以使用仅 decode 的 SDK。

端到端分离式软件栈最适合希望优化上市时间的合作伙伴。它由以下部分组成:

仅 decode 的 SDK 最适合希望优化控制权的合作伙伴。借助仅 decode 的 SDK,合作伙伴可以将自己的推理框架和 prefill 引擎接入 Cerebras decode 引擎和 KV Portal 软件。此外,仅 decode 的 SDK 还提供开发辅助工具,例如模拟的 Cerebras decode 副本,以及与开源分离式推理框架和 prefill 引擎的参考集成。

请求 返回 推理框架(合作伙伴或 Cerebras 提供) Prefill 引擎(合作伙伴或 Cerebras 提供) KV Portal(Cerebras 提供) Decode 引擎(Cerebras 提供) Prefill 加速器(合作伙伴或 Cerebras 提供) CSX 系统(Cerebras 提供) 参考设计(Cerebras 提供) 追踪一次请求

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →