返回资讯中心
外部精选
芯片&算力
#服务器#硬件评测#Accelerators#amd#google#TPU

Google发布TPU 8tx与8i Max,前者采用AMD EPYC Turin主机并支持机密计算

来源标题:Google TPU 8tx Pairs AMD EPYC Turin Hosts with Confidential Computing while TPU 8i Max Doubles Memory Bandwidth

Google第八代TPU新增TPU 8tx和TPU 8i Max两款系统配置。8tx面向受监管企业和政府,采用第五代AMD EPYC Turin主机,支持机密计算,是AMD的一次重要胜利;8i Max将两颗8i芯片封装在一起,内存带宽翻倍,用于应对超大上下文窗口的推理任务。

ServeTheHomeVic A2026/11/9 · 8 天前10 分钟阅读

以下正文由 AI 翻译自 ServeTheHome(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

Google 正在扩展其第八代 TPU 产品线,推出两款新方案:TPU 8tx 和 TPU 8i Max。这是 Google 首次在同一年内推出四种不同的系统配置,不过并非四款全新的芯片设计。8tx 基于现有芯片打造,面向机密计算,这对 AMD 来说是一次值得关注的胜利;而 8i Max 则将两颗 8i 芯片封装在一起,以应对超大上下文窗口的挑战。

在 Hot Chips 2026 上介绍 TPU v8 系列时,我们曾重点谈到 Google 如何针对不同工作负载对网络进行专门优化。面向推理的 TPU 8i 采用 Boardfly 拓扑,最大网络跳数为七,而面向训练的 torus 设计则为十六跳。这一结构差异降低了实时推理的延迟,也解释了为什么 Google 持续针对互连进行定制,而不是依赖单一 fabric。

TPU 8tx 是该世代的第三款系统,面向受监管的企业和政府机构,这类客户需要在处理敏感数据的同时运行前沿模型或专有模型。它采用与面向训练的 TPU 8t 相同的芯片,但 Google 将其与定制的第五代 AMD EPYC “Turin” 主机搭配,把安全性直接构建到硬件层。通常,数据在静态存储和传输过程中会被加密,但在计算机处理时必须在内存中解密。8tx 通过机密计算让运行中的数据也保持受保护状态,即在隔离的可信执行环境内对使用中的数据进行加密。

下图是 Google 提供的 TPU 8tx 板卡渲染图。图中展示了四颗带有散热器的加速器芯片,以及沿一侧边缘排列的连接端口,可以大致看出将这些加速器与 Turin 主机 CPU 搭配在一起的托盘布局。

在 8tx 的主机 CPU 选择上,Google 选中了第五代 AMD EPYC Turin,以匹配 TPU 8t 的 PCIe Gen5 x16 接口。双路 Turin 配置可提供 128 条 Gen5 通道,确保四颗 TPU 和高速网卡之间不会出现 I/O 超额订阅。Google 指出,像 AMD EPYC Venice 这样的 Gen6 主机(更多内容敬请期待)会降速到 Gen5 速率运行,且不会带来额外加速器带宽,这与他们 2027 年的硬件认证计划一致。

8tx 还采用了来自面向推理的 TPU 8i 的 Boardfly 网络,而非训练优化的 torus。该拓扑降低了芯片间的最大跳数,这对于需要大量顺序推理调用的多步 agent 来说非常重要。Google 声称,相比 TPU 8t,其延迟最多可降低 2 倍,而性能损失接近于零。

第四款系统 TPU 8i Max 则从另一个角度攻克内存墙。当大量 agent 同时在整个代码库或数小时视频上工作时,内存带宽会比算力更早成为瓶颈。Google 将两颗低延迟的 TPU 8i 芯片组合进一个多芯片封装。

这使 8i Max 的算力、SRAM 和 HBM 带宽均达到单颗 TPU 8i 的两倍。具体来说,它提供 384 GB 高带宽内存,比 TPU 8i 多约三分之一,同时 HBM 带宽翻倍至 17.2TB/s,片上 SRAM 翻倍至 768 MB。TPU 8i Max 将 HBM 带宽提升至 17.2 TB/s,片上 SRAM 提升至 768 MB,直接应对制约大上下文 agent 工作负载的内存墙瓶颈。

我们向 Google 询问后得知,如果数据必须保留在机密计算域内,用户应继续使用 TPU 8tx 进行推理和服务。该系统保留了同样为实时任务优化的低延迟 Boardfly 拓扑。

这里的关键信息大概是:Google 正在针对 AI 栈的不同层面、甚至不同客户来定制其 TPU 产品。TPU 8tx 更像是一款面向机密计算的定制产品,而 TPU 8i Max 则是为推理而设计。对 AMD 而言,这大概不会在一夜之间带来 10% 的服务器 CPU 市场份额增长。相反,这是一次重大胜利,因为 AMD 不仅在非 AMD 加速器系统中赢得了 EPYC 的采用,还通过在一家大型超大规模厂商中赢得插槽,展示了其机密计算的实力。

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →