
NVIDIA Vera Rubin首次亮相MLPerf,训练与端点测试全面领先
来源标题:NVIDIA Sweeps MLPerf Training and Endpoints as Vera Rubin Debuts With Leading Performance
NVIDIA Vera Rubin平台在首次MLPerf基准测试中拿下全部MLPerf Training v6.1项目,并在首次MLPerf Endpoints提交中实现每瓦吞吐量超10代的提升。该平台在训练、后训练和智能体推理上均取得领先性能。NVIDIA称后续将通过持续优化CUDA软件栈进一步提升性能。
以下正文由 AI 翻译自 NVIDIA Blog(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
在首次亮相 MLPerf 基准测试中,随着今日结果公布,NVIDIA Vera Rubin 平台在训练、后训练和代理式推理方面均展现出领先性能。 NVIDIA 横扫了 MLPerf Training v6.1 的每一项基准测试,并在其首次 MLPerf Endpoints 提交中,针对代理式 AI 实现了每瓦吞吐量超过 10 倍的代际提升——该指标衡量系统每消耗一瓦电力所能完成的代理式工作量。 这些结果仅仅是开始。通过持续优化 NVIDIA 基于 CUDA 的软件栈,Vera Rubin 的性能还将不断攀升,因此客户今天投资的基础设施将随时间推移带来更多价值。
NVIDIA 横扫 MLPerf Training v6.1
AI 代理如今无处不在,它们编写代码、运行业务流程、回答客户问题,并且正如本周 SC26 大会所强调的,还在推动科学研究进步。 更快的训练意味着更智能的代理能更快触达用户,药物发现模型能跟上新的实验室数据,欺诈检测模型能更快适应新威胁。 MLPerf Training 衡量系统将一系列 AI 模型训练至目标精度水平的速度。 NVIDIA 平台是本轮唯一在所有基准测试上均有结果的平台,涵盖大语言模型、图像生成、推荐系统和强化学习后训练。Vera Rubin NVL72 在首次亮相中,每 GPU 性能比高度优化的 NVIDIA GB300 NVL72 系统最高提升 2 倍——这些早期结果展示了代际创新的步伐。 MLPerf Training v6.1 结果于 2026 年 11 月 16 日从 www.mlcommons.org 检索,来自以下条目:6.1-0116、6.1-0030、6.1-0135、6.1-0020、6.1-0049、6.1-0123、6.1-0138、6.1-0073、6.1-0124、6.1-0129 和 6.1-0038。MLPerf 名称和标志是 MLCommons Association 在美国和其他国家的商标。保留所有权利。严禁未经授权使用。更多信息请参见 www.mlcommons.org。 NVIDIA 还展示了规模化性能。在 DeepSeek-V3 基准测试中,Vera Rubin NVL72 从 256 个 GPU 扩展至 1,024 个 GPU,效率约为 97%:GPU 数量翻两番,训练时间从 16 分钟缩短至约 4 分钟。 NVIDIA 还在 10,240 个 GPU 上使用 GB300 系统运行了该基准测试,代表了本轮最大规模。Microsoft Azure 使用 10,240 个 NVIDIA GPU 的 GB200 系统也达到了同等规模。 这种规模的结果之所以重要,是因为只有当 GPU 能高效协同工作时,增加 GPU 才能加速训练。NVIDIA NVLink 纵向扩展网络连接每个系统内的 GPU,使其作为一个整体运行;而 NVIDIA Quantum-X800 InfiniBand 和 Spectrum-X 以太网横向扩展网络则将这些系统跨数据中心连接起来。结合优化的软件,这使数千个 GPU 保持协同工作,帮助开发者构建更智能的模型,同时缩短训练时间。
NVIDIA Vera Rubin 在 MLPerf Endpoints 上引领代理式推理
一个规划并预订整个行程的旅行 AI 代理——或者一个在任何人提交工单之前就发现并修复问题的 IT 代理——可能需要推理、调用工具并反复检查其工作,才能完成单个任务。 每一步都会生成 token。由于 AI 数据中心受电力限制,系统每消耗一瓦电力每秒能生成的 token 越多,它能服务的代理就越多,创造的价值也越大。 MLPerf Endpoints 在真实代理式编码和企业工作流上测试系统,并检查代理是否仍能正确完成任务。NVIDIA Vera Rubin 在其所有代理式基准测试中均领先。 例如,在为代理式工作流构建的大型开放模型 Kimi K3 的暂定结果中,Vera Rubin NVL72 系统在相同响应速度下,每瓦吞吐量超过 NVIDIA GB300 NVL72 的 10 倍。 MLPerf® Endpoints v1.0,Kimi K3,标准化部门,可用类别,发布于 2026 年 11 月 9 日。NVIDIA Vera Rubin NVL72,32 个加速器,结果 1.0.1.kimi-k3.agentic_combined.1p,运行 9:并发 = 1,024 查询,TTFT P90 = 4,673.9 毫秒,系统 TPS = 41,414.2 token/秒,端到端平均交互性 = 每用户 50.4 token/秒,运行功率 = 100.89 kW。NVIDIA GB300 NVL72,48 个加速器,结果 1.0.0.kimi-k3.agentic_combined.1,运行 6:并发 = 48 查询,TTFT P90 = 2,305.1 毫秒,系统 TPS = 2,210.4 token/秒,端到端平均交互性 = 每用户 56.2 token/秒,运行功率 = 60 kW。比较基于在每用户 50 token/秒的共享最低端到端平均交互性下的每千瓦吞吐量。于 2026 年 11 月 9 日从 endpoints.mlcommons.org 检索。GB300 结果已由 MLCommons Association 验证。对于暂定的 Vera Rubin 结果:尚待 MLCommons Association 验证,结果可能会在同行评审后发生变化。MLPerf 名称和标志是 MLCommons Association 在美国和其他国家的注册和未注册商标。保留所有权利。严禁未经授权使用。更多信息请参见 www.mlcommons.org。 每个 AI 服务都必须在同时服务众多用户与快速响应每个用户之间取得平衡。Vera Rubin 改变了整条曲线,在服务更多用户的同时响应更快。
跨基准测试和工作负载的领先地位
NVIDIA 合作伙伴广泛参与了 MLPerf Training,共有 20 个组织提交了结果:ASUS、Azure、Cisco、CoreWeave、Crusoe、Dell Technologies、Firmus、Fujitsu、Giga Computing、Google Cloud、HPE、Inventec、Krai、Lambda、Nebius、Oracle、Quanta Cloud Technology (QCT)、Supermicro、TTA 和佛罗里达大学。 他们的提交展示了 NVIDIA 的可编程平台,凭借开源库和框架,如何让庞大的合作伙伴生态系统创新并优化 AI 训练性能。 这种领先优势超越了 MLPerf。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。