返回资讯中心
外部精选
软件工程
#社区热议

Google 扩展第八代 TPU 产品线,新增 TPU 8tx 和 TPU 8i Max

来源标题:TPU 8tx and TPU 8i Max

Google 在第八代 TPU 产品线中新增 TPU 8tx 和 TPU 8i Max 两款系统,一年内共推出四款新 TPU。TPU 8tx 面向安全保密推理,TPU 8i Max 面向超长上下文窗口,用于支撑复杂的 agentic 工作负载。Google 称 TPU 业务增长迅速,目前已有近 100 家客户。

Hacker News_benx_2026/11/9 · 8 天前21 分钟阅读

以下正文由 AI 翻译自 Hacker News(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

我们扩展了第八代 TPU 产品组合,新增 TPU 8tx 和 TPU 8i Max,这意味着我们在一年之内推出了四款新的 TPU 系统。

SVP 兼首席技术专家,AI 与基础设施

我们正在扩展第八代 TPU 产品组合,新增面向安全、机密推理的 TPU 8tx,以及面向超大规模上下文窗口的 TPU 8i Max。这些系统通过为安全性、密度和推理提供专用硬件,帮助你管理复杂的智能体工作负载。你可以观看我们的直播,或访问 Google Cloud 网站浏览完整的基础设施产品线,进一步了解这些新增产品以及我们最新的软件更新。

我们最初设计 TPU 是在十多年前,驱动力来自 Google 的内部需求,包括语音识别和语言翻译。历经八代 TPU 之后,用例已经爆发式增长,涵盖:i) 训练和 serving 我们自己的 Gemini 模型,ii) 智能体工作负载,iii) 在我们的云基础设施上为 Google Cloud 客户提供服务,以及最近 iv) 让客户能够将 TPU 直接部署到自己的数据中心。TPU 如今是一项快速增长的业务,拥有近 100 家客户——包括前沿实验室、交易公司、零售商、大学等。

在四月的 Google Cloud Next 上,我们在同一代中推出了两款新的专用 TPU——面向大规模训练的 8t 和面向实时推理的 8i。与上一代 TPU 相比,TPU 8t 和 8i 的训练性能最高提升 2.7 倍,推理性价比分别提升 80%。

今天,我们在此基础上更进一步,以两款额外的系统扩展第八代 TPU 产品组合:面向超大规模上下文窗口和最高单机架计算密度的 TPU 8i Max,以及面向安全、机密推理的 TPU 8tx。这是我们首次在一年内推出四款 TPU 系统。

我们扩展后的第八代 TPU 产品组合:TPU 8t、TPU 8i、TPU 8tx 和 TPU 8i Max。

虽然我们一直与 Google DeepMind 合作共同设计 TPU,但如今我们越来越多地从外部组织获取关于其具体需求的反馈。随着计算从人类规模迈向智能体规模,企业需要能够在 AI 模型超大规模上下文窗口中推理的加速器。此外,一些受高度监管的客户要求为特殊工作负载提供专用加密能力。

我们今天发布的新 TPU 系统正是为了应对这一新现实。结合我们近期关于 PyTorch 的公告,我们的目标是让每一位开发者和 Cloud 客户都能更轻松地使用 TPU。通过将模块化定制芯片与开放、易用的软件栈相结合,我们能够以 AI 行业的速度交付新的硬件和系统配置。

今天,我们发布两款新的 TPU 系统——而新芯片和新系统之间存在一个重要区别。

设计一款新芯片意味着要在硅晶圆上排布数十亿个微型晶体管,这是一个受物理定律约束、制造周期复杂且漫长的多年过程。而系统则关乎我们如何将芯片周围的计算、网络和存储整合在一起。这可以包括它们与芯片的封装方式,以便快速满足新兴的客户需求和研究用例。

十多年前我们打造第一块 TPU 时就知道,AI 软件的演进速度会远超芯片制造所能达到的速度。因此我们在系统平衡性和模块化上做了基础性押注,将 TPU 架构为 AI Hypercomputer 的构建模块,使工程师能够围绕它们快速调整封装、高速内存、光网络和安全性。这种方法让我们能在数月而非数年内交付专用超级计算机。

我们第八代 TPU 产品组合中的每个系统都针对 AI 生命周期的不同环节。

TPU 8t 和 TPU 8i 奠定了这一代芯片的基线:

如今,随着企业将自主智能体投入生产,我们基于这些基础系统创建了两种新配置,以解决两个紧迫的新挑战:硬件级数据安全和百万 token 上下文规模。

TPU 8tx 是我们的第三款第八代系统,针对安全、机密推理进行了优化,也非常适合小规模训练。它专为受监管的企业和政府打造,用于在最敏感数据旁运行前沿或专有模型及自主智能体。

通常,数据在存储或通过网络传输时会加密,但在计算机处理时必须在内存中解密。TPU 8tx 与 TPU 8t 基于相同的芯片构建,并搭配第五代 AMD EPYC CPU 主机,将安全性直接内建于硬件层,即使在使用过程中也能保持敏感数据和模型权重受到保护和隔离。通过采用我们为实时推理打造的同一低延迟 Boardfly 网络,TPU 8tx 让多步智能体持续运转,与 TPU 8t 相比延迟最高降低 2 倍,而性能损失几乎为零。

将训练级计算与快速推理网络配对,也意味着组织可以在单一系统上同时运行和定制其模型。TPU 8tx 让团队能够使用私有数据微调模型、将大模型蒸馏为小模型,并通过强化学习训练其智能体,而无需在独立集群之间迁移敏感数据。

TPU 8tx 专为敏感的企业工作负载设计,为私有微调 and 安全智能体执行提供硬件级机密计算。

我们的第四款系统 TPU 8i Max 则为另一个问题而打造:内存墙。

当数十个 AI 智能体在整个软件代码库或数小时视频上协同工作时,内存带宽很快成为瓶颈。因此我们将两颗低延迟 TPU 8i 芯片组合到单个封装上。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →