
Google发布TPU 8tx与8i Max,8tx采用AMD EPYC Turin主机
来源标题:Google TPU 8tx Pairs AMD EPYC Turin Hosts with Confidential Computing
Google在第八代TPU产品线新增TPU 8tx和TPU 8i Max两款系统,这是其首次在一年内推出四种系统配置。TPU 8tx面向受监管企业和政府,采用与TPU 8t相同的芯片,但搭配定制的第五代AMD EPYC Turin主机以支持机密计算;TPU 8i Max则将两颗8i芯片封装在一起,应对超大上下文窗口。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
Google 正在扩充其第八代 TPU 产品线,新增 TPU 8tx 和 TPU 8i Max 两款产品。这是 Google 首次在一年内推出四种不同的系统配置,不过并非四款全新的芯片设计。8tx 基于现有芯片构建,面向机密计算,这对 AMD 来说是一次值得关注的胜利;而 8i Max 则将两颗 8i 芯片封装在一起,以应对超大的上下文窗口。
在 Hot Chips 2026 上报道 TPU v8 系列时,我们曾重点介绍过 Google 如何针对不同工作负载对网络进行专门优化。面向推理的 TPU 8i 采用 Boardfly 拓扑,最大网络跳数为七,而面向训练的 torus 设计则为十六跳。这种结构差异降低了实时推理的延迟,也解释了为什么 Google 持续针对互连进行定制,而不是依赖单一 fabric。
TPU 8tx 是该世代的第三款系统,目标客户是那些在敏感数据环境中运行前沿模型或专有模型的对口监管企业和政府机构。它采用与面向训练的 TPU 8t 相同的芯片,但 Google 将其与定制的第五代 AMD EPYC“Turin”主机搭配,把安全性直接构建在硬件层。通常情况下,数据在静态存储和传输过程中会被加密,但在计算机处理时必须先在内存中解密。8tx 通过机密计算让运行中的数据也保持受保护状态,即在隔离的可信执行环境中对使用中的数据进行加密。
下面是 Google 提供的 TPU 8tx 板卡渲染图。图中可以看到四颗带有散热器的加速器芯片,以及沿一侧边缘排列的连接端口,大致展示了将这些加速器与其 Turin 主机 CPU 搭配的托盘布局。
在 8tx 的主机 CPU 方面,Google 选择了第五代 AMD EPYC Turin,以匹配 TPU 8t 的 PCIe Gen5 x16 接口。双路 Turin 配置可提供 128 条 Gen5 通道,确保四颗 TPU 和高速网卡之间不会出现 I/O 超额订阅。Google 指出,像 AMD EPYC Venice 这样的 Gen6 主机(后续会有更多报道)会降速到 Gen5 速率运行,且不会增加加速器带宽,这与其 2027 年的硬件认证时间表相符。
8tx 还采用了来自面向推理的 TPU 8i 的 Boardfly 网络,而非针对训练优化的 torus。该拓扑减少了芯片之间的最大跳数,这对于需要大量顺序推理调用的多步 agent 来说非常重要。Google 声称,相比 TPU 8t,其延迟最多可降低 2 倍,而性能损失接近于零。
第四款系统 TPU 8i Max 则从另一个角度应对内存墙问题。当众多 agent 同时在整个代码库或数小时视频上工作时,内存带宽会比算力更早成为瓶颈。Google 将两颗低延迟的 TPU 8i 芯片组合进一个多芯片封装中。
这使得 8i Max 拥有单颗 TPU 8i 两倍的算力、两倍的 SRAM 和两倍的 HBM 带宽。具体来说,它提供 384 GB 高带宽内存,比 TPU 8i 多出约三分之一,同时 HBM 带宽翻倍至 17.2TB/s,片上 SRAM 翻倍至 768 MB。TPU 8i Max 将 HBM 带宽翻倍至 17.2 TB/s、片上 SRAM 提升至 768 MB,直接针对制约大上下文 agent 工作负载的内存墙问题。
我们向 Google 询问后得知,如果数据必须保留在机密计算域内,用户应坚持使用 TPU 8tx 进行推理和服务。该系统保留了同样针对实时任务优化的低延迟 Boardfly 拓扑。
这里的关键信息大概是:Google 正在针对 AI 栈的不同部分、甚至不同客户来定制其 TPU 产品。TPU 8tx 更像是面向机密计算的定制化产品,而 TPU 8i Max 则是为推理而设计。对 AMD 来说,这大概不会在一夜之间带来服务器 CPU 市场份额 10% 的增长。但这是一次重大胜利,因为 AMD 不仅在非 AMD 加速器系统中拿下了 EPYC 的订单,还通过在一家主要超大规模厂商那里赢得插槽,展示了自己的机密计算实力。
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。