
NVIDIA Vera CPU 实现高吞吐与快速 Agent 兼得
来源标题:Vera Delivers the Best of Both Worlds: Highest Throughput and Fastest Agents
NVIDIA 称其 Vera CPU 在单颗芯片上同时实现领先的 Agent 速度与高每瓦容量。在 100 兆瓦数据中心对比中,Vera 性能优于最快的 x86 CPU 和最节能的 x86 CPU,并支持 1.6 倍更多 Agent 工作负载。这意味着 AI 工厂无需混搭不同 x86 部件来平衡速度与容量。
以下正文由 AI 翻译自 NVIDIA Blog(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
AI agent 不只是生成答案。它们会搜索信息、查询数据库、编写和测试代码,并采取行动。上述每一步都依赖 CPU,agent 在整个任务过程中要在 GPU 推理和 CPU 执行之间来回切换。随着企业部署越来越多的 agent,AI 工厂需要能够在可用功耗限制内快速执行这些步骤、同时支持大量 agent 并发的 CPU。
这意味着什么:AI 基础设施提供商需要支持更多 agent,同时不能让每个 agent 等待更长时间才能完成工作。而且关键在于,AI 工厂受功耗限制。这意味着运营者需要选择能在每瓦功耗下最大化完成工作量的基础设施。
为什么这很重要:NVIDIA Vera 在单颗 CPU 内同时实现了快速的 agent 性能和高每瓦容量。这让提供商可以用一颗 CPU 应对一系列 agent 工作负载,而不必混搭追求速度的 x86 部件和追求密度的 x86 部件来平衡速度与容量。
数据可以证明:在 100 兆瓦数据中心的对比中,NVIDIA 发现单颗 Vera CPU 的表现优于最快的 x86 CPU 和最节能的 x86 CPU。
- Vera 提供业界领先的 agent 速度,同时每瓦支持的 agent 数量是最快 x86 CPU 的 1.6 倍。
- 与最节能的 x86 CPU 相比,Vera 的 agent 速度快 2 倍,同时保持领先的能效。
合作伙伴已经在使用 Vera。早期采用者在生产级测试中看到了同样出色的性能:
- Perplexity:使用 Vera 运行 agentic 编码任务,速度比传统 CPU 快 1.5 倍。Perplexity 计划在即将上线的生产系统中部署 Vera。
- DeepInfra:在其生产 agent 工作负载的 agentic 编排上,速度达到最佳 x86 处理器的 2.2 倍,在测试的四种架构中速度最快。
- ClickHouse:其标准二进制文件未经任何 Vera 专用调优,就在 176 核上实现了接近线性的扩展,并登顶 ClickBench 硬件排行榜。
- DuckLabs:TPC-H SF1000 性能中位数约为 Intel Xeon 6 基线的 1.5 倍。
- Daytona:使用 Vera 在 10.8 秒内上线 1,000 个 agent 沙箱,在 2,000 个并发沙箱下达到每秒完成 12.7 个作业,而 x86 需要 88.4 秒。
- Modal:每核沙箱吞吐量最高达到同类 x86 硬件的 2 倍,且负载越重优势越明显。
了解更多关于 NVIDIA Vera CPU 的信息。
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。