
谷歌扩展第八代TPU产品线,推出TPU 8tx与TPU 8i Max
来源标题:TPUs
谷歌扩展第八代TPU产品线,新增面向保密推理的TPU 8tx和面向超大上下文窗口的TPU 8i Max,一年内共推出四款新TPU系统。这两款产品针对智能体工作负载提供安全、密度与推理方面的专用硬件。谷歌称TPU业务增长迅速,客户已近100家,包括前沿实验室和交易公司。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
我们的最新TPU:8tx和8i Max,专为智能体时代打造
我们扩展了第八代TPU产品组合,新增TPU 8tx和TPU 8i Max,这意味着我们在一年内推出了四款全新的TPU系统。
高级副总裁兼AI与基础设施首席技术官
我们正在扩展第八代TPU产品组合,新增TPU 8tx(面向安全、机密推理)和TPU 8i Max(面向超大规模上下文窗口)。这些系统通过提供针对安全性、密度和推理能力的专用硬件,帮助你管理复杂的智能体工作负载。你可以通过观看我们的直播或访问Google Cloud网站探索完整的基础设施产品线,了解更多关于这些新增产品以及我们最新软件更新的信息。
十多年前,我们最初设计TPU是出于Google内部的需求,包括语音识别和语言翻译。八代TPU之后,应用场景已经爆发式增长,涵盖:i)训练和服务我们自己的Gemini模型;ii)智能体工作负载;iii)在我们的云基础设施上为Google Cloud客户提供服务;以及最近的iv)允许客户将TPU直接部署到自己的数据中心。TPU现在是一项快速增长的业务,拥有近100家客户——包括前沿实验室、交易公司、零售商、大学等。
在四月份的Google Cloud Next大会上,我们推出了同一代中的两款新型专用TPU——用于大规模训练的8t和用于实时推理的8i。与上一代TPU相比,TPU 8t和8i分别提供高达2.7倍的训练性能提升和80%的推理性价比提升。
今天,我们更进一步,以两款额外的系统扩展第八代TPU产品组合:TPU 8i Max,面向超大规模上下文窗口和每机架最高计算密度;以及TPU 8tx,面向安全和机密推理。这是我们首次在一年内推出四款TPU系统。
我们扩展后的第八代TPU产品组合:TPU 8t、TPU 8i、TPU 8tx和TPU 8i Max。
虽然我们一直与Google DeepMind合作共同设计TPU,但我们现在越来越多地从外部组织获取关于其具体需求的反馈。随着计算从人类规模转向智能体规模,企业需要能够在AI模型的超大规模上下文窗口中执行推理的加速器。此外,一些受到高度监管的客户要求为特殊工作负载提供专用加密能力。
我们今天宣布的新TPU系统正是为了应对这一新现实。结合我们最近的PyTorch公告,我们的目标是让每个开发者和云客户都能更轻松地使用TPU。通过将模块化定制芯片与开放且易用的软件栈相结合,我们能够以AI行业的速度交付新的硬件和系统配置。
今天,我们宣布两款新的TPU系统——而新芯片和新系统之间存在重要区别。
设计新芯片意味着在硅晶圆上布局数十亿个微观晶体管,这是一个受物理定律约束、制造周期复杂且漫长的多年过程。而系统则关乎我们如何将芯片周围的计算、网络和存储整合在一起。这可以包括它们如何与芯片封装在一起,以快速满足新兴的客户需求和研究用例。
十多年前我们构建第一颗TPU时,就知道AI软件的演进速度会远快于硅制造。因此我们在系统平衡和模块化上做了基础性布局,将TPU架构为AI Hypercomputer的构建模块,使工程师能够围绕它们快速调整封装、高速内存、光网络和安全性。这种方法使我们能够在几个月而非几年的时间内交付专用超级计算机。
我们第八代TPU产品组合中的每个系统都针对AI生命周期的不同环节。
TPU 8t和TPU 8i为这一代芯片奠定了基线:
如今,随着企业将自主智能体投入生产,我们基于这些基础系统创建了两种新配置,以解决两个紧迫的新挑战:硬件级数据安全和百万token上下文规模。
TPU 8tx是我们的第三款第八代系统,针对安全和机密推理进行了优化,也非常适合小规模训练。它专为受监管的企业和政府打造,用于在运行前沿或专有模型及自主智能体的同时处理其最敏感的数据。
通常,数据在存储或通过网络发送时是加密的,但在计算机处理时必须在内存中解锁。TPU 8tx与TPU 8t基于相同的芯片构建,搭配第五代AMD EPYC CPU主机,将安全性直接构建到硬件层,即使在使用过程中也能保持敏感数据和模型权重的受保护与隔离状态。通过采用我们为实时推理打造的相同低延迟Boardfly网络,TPU 8tx让多步骤智能体持续运转,与TPU 8t相比延迟降低高达2倍,而性能损失几乎为零。
将训练级计算与快速推理网络配对,也意味着组织可以在单一系统上同时运行和定制其模型。TPU 8tx使团队能够使用私有数据微调模型、将大模型蒸馏为小模型,并通过强化学习训练其智能体,所有这些都无需在独立集群之间迁移敏感数据。
TPU 8tx专为敏感企业工作负载设计,提供硬件级机密计算,用于私有微调和安全智能体执行。
我们的第四款系统TPU 8i Max则是为解决另一个问题而构建:内存墙。
当数十个AI智能体在整个软件代码库或数小时视频上协同工作时,内存带宽很快成为瓶颈。因此我们将两颗低延迟TPU 8i芯片组合到单个封装上。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。