Google为第八代TPU新增TPU 8i Max与TPU 8tx两款系统配置
来源标题:Google Unveils TPU 8i Max and TPU 8tx: A Dual-Chip TPU and a Confidential TPU
Google在第八代TPU产品线中新增TPU 8i Max和TPU 8tx两款系统配置,均为基于现有芯片的重新封装而非新芯片。TPU 8i Max将2颗TPU 8i芯片封装在一起,面向长上下文Agent场景,计算、SRAM和HBM带宽均翻倍;TPU 8tx面向机密推理,延迟较TPU 8t最多降低2倍。两款系统均运行于Google Cloud,具体规格、价格和可用区域未公布。
以下正文由 AI 翻译自 MarkTechPost(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
Google 在其第八代 TPU 产品线中新增了两款系统。TPU 8i Max 面向超大上下文窗口和机架密度,TPU 8tx 面向安全保密推理。Google TPU 8i Max 是由 2 颗 TPU 8i 芯片构建的双芯片封装。二者与今年 4 月发布的 TPU 8t 和 TPU 8i 一同亮相。
TL;DR
- 规格:TPU 8i Max = 1 个封装内集成 2 颗 TPU 8i 芯片。TPU 8tx = TPU 8t 芯片加第五代 AMD EPYC 主机。
- 运行平台:Google Cloud TPU 系统。
- 性能:8i Max 将 TPU 8i 的计算、SRAM 和 HBM 带宽翻倍。8tx 相比 TPU 8t 将延迟最多降低 2 倍。
- 最佳之处:在现有xrack 空间内实现 2 倍芯片密度(TPU 8i Max)。
- 最差之处:两款系统均未公布绝对规格、基准测试、价格或可用区域。
Google 发布了什么?
Google 今日发布了两款系统。它们是新的系统配置,而非新芯片。Google 复用了现有的第八代芯片,仅更改了封装、主机、内存和网络配置。
TPU 8i Max 如何工作?
TPU 8i Max 旨在突破内存墙。Google 团队将 2 颗低延迟 TPU 8i 芯片集成到 1 个封装中。其结果是,相比 TPU 8i,计算、SRAM 和 HBM 带宽均翻倍。 每颗 TPU 8i 芯片的规格为 10.1 PFLOPS FP4、288 GB HBM 和 8,601 GB/s 带宽,并配备 384 MB 片上 SRAM。将这些数字翻倍,意味着每个封装约为 20.2 PFLOPS FP4、768 MB SRAM 和 17.2 TB/s。Google 并未公布这些绝对数字,也未说明 TPU 8i Max 的 HBM 容量。 TPU 8i Max 在现有rack 空间内实现了 2 倍芯片密度。Google 将其定位为面向跨整个代码库或数小时视频工作的 agent。
TPU 8tx 有何不同?
TPU 8tx 面向受监管企业和政府机构。它能在数据与模型权重处于活跃使用状态时仍保持保护。通常情况下,数据在处理过程中必须在内存中解密。 TPU 8tx 使用与 TPU 8t 相同的芯片,并搭配第五代 AMD EPYC CPU 主机。它还采用了 TPU 8i 的 Boardfly 网络。Google 声称其延迟比 TPU 8t 最多降低 2 倍,且安全开销接近于零。 团队可以在 1 个系统上完成微调、蒸馏和强化学习,从而避免在独立集群之间迁移敏感数据。
TPU 软件栈有哪些变化?
- TorchTPU:上个月开源,可原生运行 PyTorch 和 Hugging Face 模型。vLLM 和 SGLang 获得 TPU 后端支持。
- TPU agent 套件(预览版):接入 Claude Code、Cursor 和 Antigravity,用于入门引导和内核调优。
- TPU Sync:一个开源 C++ 库,可将 KV cache 分层存储于 HBM、主机 DRAM 和存储之间。
- Agent Compute Engine:可挂起空闲的 agent 会话,并将工作内存移出芯片。预览版计划在未来几个月内推出。
- Cloud Pathways 和 GKE 动态切片:二者现已正式可用。动态切片可将作业启动速度提升最多 5 倍,并将故障恢复速度提升最多 4.5 倍。 在 Qwen3 235B 上,TPU Sync 将 KV 传输延迟中位数从数秒降至约 230 ms。在低并发下,235B 的 TTFT 平均下降 60%,480B 下降 90%。这些测试在 Ironwood(TPU v7x)上运行,而非新系统。
数字对比如何?
规格Google TPU 8i MaxGoogle TPU 8txNVIDIA Rubin GPUMicrosoft Maia 200AWS Trainium3
角色长上下文推理保密推理、小规模训练训练与推理推理训练与推理
芯片2x TPU 8i 芯片TPU 8t 芯片双 die GPU TSMC 3nmTSMC 3nm
峰值 FP420.2 PFLOPS(推算)未披露(TPU 8t:12.6)50 PFLOPS NVFP4>10 PFLOPS未披露(2.52 PFLOPS FP8)
HBM 容量未披露未披露(TPU 8t:216 GB)288 GB HBM4216 GB HBM3e144 GB HBM3e
HBM 带宽17.2 TB/s(推算)未披露(TPU 8t:6.5 TB/s)22 TB/s7 TB/s4.9 TB/s
片上 SRAM~768 MB(推算)未披露(TPU 8t:128 MB)未披露272 MB未披露
主机 CPU未披露第五代 AMD EPYCNVIDIA Vera未披露未披露
可用性2027 年(Bloomberg via Quartz)2027 年(Bloomberg via Quartz)2026 年下半年量产2026 年 1 月发布Trn3 于 2025 年 12 月发布
推算 = Google 公布的 TPU 8i 单芯片数字的 2 倍。TPU 8t 数值来自 Google 的技术深度解析。
核心要点
- TPU 8i Max 将 2 颗 TPU 8i 芯片集成到 1 个封装中。
- 它将 TPU 8i 的计算、SRAM 和 HBM 带宽翻倍。
- TPU 8tx 将保密推理引入 TPU 8t 芯片。
- TPU Sync 在 Ironwood 上将 KV 传输延迟降低超过 90%。 查看官方公告、TPU 8t 和 8i 深度解析以及 TPU Sync 仓库。也欢迎在 Twitter 上关注我们,别忘了加入我们 150k+ 的 ML SubReddit 并订阅我们的 Newsletter。等等!你在 Telegram 上吗?现在你也可以在 Telegram 上加入我们。 需要与我们合作推广你的 GitHub Repo 或 Hugging Face 页面或产品发布或 Webinar 等?联系我们 文章 Google Unveils TPU 8i Max and TPU 8tx: A Dual-Chip TPU and a Confidential TPU 首发于 MarkTechPost。
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。