
NVIDIA 用全栈协同设计应对 AI 内存压力
来源标题:More Performance From Every Byte: How Full-Stack Codesign Solves AI’s Memory Challenge
NVIDIA 提出以全栈协同设计缓解 AI 内存瓶颈,将 GPU、CPU、网络、存储和软件统一设计,而非单纯增加显存容量。NVIDIA 称其率先在加速计算栈中采用 HBM3e 和 HBM4,并强调在模型变大、上下文变长、GPU 内存供应趋紧涨价的背景下,按层级利用内存才能让每字节完成更多有效工作。
以下正文由 AI 翻译自 NVIDIA Blog(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
更大的模型、更长的上下文和 agentic 应用正在加大 GPU 显存压力,而与此同时供给趋紧、价格上涨——这一趋势预计在短期内仍将持续。NVIDIA 与内存合作伙伴紧密协作,快速采用最新的内存技术。NVIDIA 率先将 HBM3e 和 HBM4 技术引入加速计算栈。
但 NVIDIA 的做法并不是简单地在 GPU 上堆更多内存,而是全栈协同设计。NVIDIA 有意将 GPU、CPU、网络、存储和软件放在一起设计,让 AI 工厂的每一层内存都能产出更多有效工作。
这一点之所以重要,是因为 AI 工厂运行在一套内存与存储层级之上。GPU 高带宽内存(HBM)是速度最快、成本最高、争用最激烈的一层——模型权重和 KV cache 争抢有限的容量。其下依次是 CPU 内存、本地 SSD 和共享存储,每一层都以速度换取更大的容量和更低的每比特成本。
一个字节能完成多少有效工作,取决于整个层级被利用得如何:缩减必须存储的内容、把它放到正确的层级、并在需要之前把它送回 GPU。
就每一个字节而言,NVIDIA 在每一层都实现了最高的内存使用效率——结果也印证了这一点。从 NVIDIA Blackwell Ultra 到 Vera Rubin 平台,单 GPU 的 HBM 容量提升了约 3%,而在 SemiAnalysis AgentX 上,每美元的 agentic 吞吐量提升最高达 30 倍。
Agentic 推理正在给 HBM 带来更大压力
前沿模型如今拥有数万亿参数——这些数值承载着 AI 模型在训练中学到的内容。
KV cache 也在膨胀。它保存模型理解每个活跃请求所需的上下文,避免重复处理相同信息。Agentic 轨迹在反复的模型调用和工具调用中携带先前的上下文,某些情况下要处理多达 300 万个 token,因此每个请求的工作内存会随时间不断增长。
检索增强生成(RAG)会把相关的企业信息加入 prompt,产生更多需要处理和保留的上下文。
在推理过程中,HBM 主要同时承载模型参数和 KV cache。结果就是:HBM 承受的压力更大。
AI 工厂为何需要内存层级
为每块 GPU 增加更多 HBM 容量是对这种压力的直观回应,但容量只能发挥带宽所能搬运的部分。
把 HBM 想象成仓库,把内存带宽想象成装卸月台。仓库越大,能存放的库存越多,但月台决定了同一时间能进出多少货物。一旦月台达到吞吐上限,搬运更多库存就要花更长时间,响应时间随之变慢。如果延迟超出所需的服务水平,多出来的空间就无法被有效利用,同时还在增加成本和消耗电力。
这也是为什么没有任何运营会把所有库存都放在最近、最快的空间里。流转中的货物留在产线附近,等待中的货物则移到附近更大、更便宜的空间,并在需要之前送回。
AI 工厂面临同样的限制。
更多 HBM 可以容纳更多 KV cache、支持更多并发用户。但每增加一个用户,都在共享同样的算力和内存带宽。而当每个用户都期待快速响应时,内存带宽最终无法以算力消耗数据的速度来供给数据:工程师把这一限制称为内存墙。
越过这一点,额外的 HBM 容量就无法投入工作,却仍然增加成本、消耗电力。数据仍然需要有存放之处,但并非所有数据都需要最快、最贵的那一层。这正是 AI 工厂要在一套内存与存储层级上管理数据的原因。
以全栈协同设计最大化每一个字节的价值
NVIDIA 的全栈协同设计通过缓解模型权重、KV cache 和 RAG 数据带来的压力,让每一字节 HBM 都物尽其用。它采用的技术各自针对不同的低效来源:
缩减模型权重,并将其分布到 NVL72 域中。
- 与 NVIDIA Hopper 平台所能支持的最低精度 FP8 相比,NVFP4 格式减少了权重所需的空间。包括 Black Forest Labs 的 FLUX.2 [klein]、Thinking Machines Lab 的 Inkling、Reflection 的 Beam 1.0、Meta 的 Meta Muse Spark、StepFun 的 Step 5 Preview 以及 NVIDIA Nemotron 3.5 Super VL 在内的近期模型都已随 NVFP4 checkpoint 发布,表明越来越多的模型构建者采用 4 位精度,以实现更快、更省内存的推理。
- 在 NVL72 系统内,模型权重可以分布到多达 72 块 GPU 上,因此每块 GPU 只需承载模型的一小部分——从而留出更多 HBM 给 KV cache 和并发用户。
缩减 KV cache,并将不活跃的上下文卸载到成本更低的存储层。
- 将 NVFP4 应用于 KV cache 可相比 FP8 减小其占用,从而让更多上下文常驻 HBM。
- NVIDIA Vera CPU 在两方面提供帮助。更快的工具执行缩短了 KV cache 在工具调用期间处于不活跃状态的时间;而其大容量 LPDDR 内存通过 NVIDIA NVLink-C2C 互连与 NVIDIA Rubin GPU 相连,为暂停的上下文提供了一个就近等待、并能快速返回的位置。
- 当上下文不被活跃使用时,NVIDIA Dynamo 推理软件会将其移动到 NVIDIA CMX context memory storage——这一层专为容量而建,每比特成本远低于 HBM——并在再次使用之前将其送回。与本地 SSD 不同,CMX 可跨服务器共享;与企业级存储不同,它省去了短期上下文并不需要的长期数据保护开销。NVIDIA CMX context memory storage 的合作伙伴包括 Cloudian、DDN、Dell Technologies、Everpure(原 Pure Storage)、HPE、IBM、NetApp、VAST 和 WEKA。
- Dynamo 的 KV Cache Reuse 将各层连接起来,把 KV cache 作为跨 GPU 内存、CPU 内存和存储的统一系统级资源来管理,因此计算过一次的上下文可以在整个系统中复用。
压缩 RAG 嵌入,并将索引放在 HBM 之外。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。