
谷歌发布TPU Sync开源系统,称可降低AI推理延迟超90%
来源标题:Google claims its new AI software cuts inference latency by over 90% — but there’s a catch
谷歌推出开源系统TPU Sync,声称在部分测试中可将KV-cache传输延迟和首字延迟降低90%以上。该系统用C++编写,专为处理百万级token上下文和强化学习负载的开发者设计,在Ironwood TPU上实现每主机223 GB/s的传输吞吐。谷歌基准测试显示,2350亿参数的Qwen3模型KV缓存迁移时间从数秒降至约230毫秒。
以下正文由 AI 翻译自 The New Stack(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
Google周一发布的第八代TPU公告不止有新芯片,还推出了TPU Sync——一个开源系统,旨在通过解决一个随着上下文窗口增大而愈发严重的问题来加速AI推理:在不同类型的内存之间移动数据。
该软件面向运行大型模型的开发者,尤其是那些处理百万级token上下文和强化学习工作负载的开发者。Google声称,在某些测试中,它可以将KV-cache传输延迟和首token时间缩短90%以上。
Google声称,在某些测试中,它可以将KV-cache传输延迟和首token时间缩短90%以上。
内存层级内部探秘
该框架用C++编写,在加速器内存、主机DRAM、存储和网络之间移动数据。它使用零拷贝传输和原生PjRtBuffer硬件描述符来避免不必要的复制。
每台Ironwood TPU主机的主机到设备和设备到主机合计吞吐量达到223 GB/s,接近PCIe Gen5理论极限256 GB/s。
Google的数据,但有前提
在Google的基准测试中,为2350亿参数的Qwen3模型移动KV缓存从耗时数秒降至约230毫秒。当同时运行的请求相对较少时,这使得平均首token时间(TTFT)缩短了60%。对于更大的4800亿参数模型,降幅达到90%。
Google在测试64,000 token上下文的prefix caching时也看到了类似的收益。TTFT下降了多达90%,吞吐量提升了50%以上,P99 token间延迟降低了30%。开发者的实际结果可能因所运行的内容、可复用的缓存数据量以及可用网络带宽的不同而有所差异。
SemiAnalysis为这些收益提供了一些背景信息。其分析表明,此前外部TPU serving缺乏有效分离prefill和decode工作负载所需的基础设施。
Nvidia仍然领先的领域
Nvidia在某些工作负载上可能仍有优势。SemiAnalysis的InferenceX数据显示,其GB200和GB300 NVL72系统在分离式serving性能曲线的部分区段处于领先,不过与完全调优的TPU v7配置的直接对比尚未发表。
侵蚀CUDA护城河
开发者可以将新软件与已有的推理工具配合使用,因为Google将该项目的发布与TorchTPU一同进行,并支持vLLM和SGLang这两个广泛使用的开源推理引擎。已经在使用这些框架的开发者可以在TPU上运行分离式工作负载,而无需从头重建serving栈。
已经在使用这些框架的开发者可以在TPU上运行分离式工作负载,而无需从头重建serving栈。
这也与Google让其定制芯片更具竞争力的更广泛努力相契合。该公司一直强调通过硬件变革来降低推理成本,包括据报道围绕Gemini的架构来设计芯片。
现在它正在解决那些可能导致芯片等待数据的软件问题。让TPU基础设施更容易与熟悉的框架配合使用,可能给开发者另一个考虑Google硬件的理由,而不是默认选择Nvidia和CUDA;但它能否匹敌Nvidia的推理性能仍是一个悬而未决的问题。
尚未达到生产就绪状态
该软件目前尚未对所有人达到生产就绪状态。Google在其GitHub仓库中警告称API仍在变化,建议坚持使用经过验证的commit或带标签的release。支持范围也仅限于Cloud TPU v7x和v6e,并有特定的JAX和PyTorch版本要求。
支持范围也仅限于Cloud TPU v7x和v6e,并有特定的JAX和PyTorch版本要求。
文章“Google claims its new AI software cuts inference latency by over 90% — but there's a catch”首发于The New Stack。
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。