返回资讯中心
外部精选
软件工程
#开发者实时流

Tensward分析H100推理:nvidia-smi显示35%占用,每请求需从GPU拷出643MB

来源标题:GPU says 35% busy. Busy doing what?

Tensward团队发现H100在LLM推理服务中nvidia-smi仅显示35%占用,但用户排队近2秒才拿到首token。逐项统计kernel和内存拷贝后,他们确认原因是每个请求需从GPU拷出643MB数据。

Hacker News 最新tensward2026/11/15 · 2 天前13 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

nvidia-smi 显示我们的 H100 有 35% 忙碌,而用户却在排队等待。逐项统计每个 kernel 和内存拷贝后,我们找到了原因:每个请求有 643 MB 从 GPU 拷贝出去。

我们把一个 LLM 服务部署在 H100 上,让十六个客户端连上去,然后打开 nvidia-smi。它显示 35% 忙碌。吞吐量是每秒 58 个 token,用户等待首 token 的时间接近两秒。

于是这张卡有三分之二的时间闲着,而人们却在排队等它。常用工具没有一个能说清剩下的时间去了哪里。

下面就是我们查明真相的过程,以及我们为此构建的小工具。

“GPU 忙碌”听起来像是“GPU 有多辛苦”。并不是。NVIDIA 的文档把它定义为:每个采样周期中,至少有一个 kernel 在运行的时间占比。kernel 是 GPU 执行的一个小程序,而推理服务会持续不断地启动大量 kernel。

所以 35% 只意味着有 65% 的时间什么都没在运行。它没有说明原因。它也没有说明运行中的 kernel 用了这张卡的多少资源——这一点在后文很重要。

我们构建了 Tensward,一个用于分析和调优 LLM 推理的开源工具,对我们来说一个百分比远远不够。所以我们写了一个 census:一个小型库,嵌在推理服务内部,统计 GPU 被要求做了什么。每一次 kernel 启动,以及它实际运行了多久。每一次内存拷贝,花了多长时间、搬运了多少字节、方向如何。

你不需要打补丁或重新编译引擎。NVIDIA 提供了一个性能分析接口 CUPTI,以及一个环境变量 CUDA_INJECTION64_PATH,可以把一个库加载进任何 CUDA 程序。你设置这个变量,再用第二个变量指定输出文件夹,然后照常启动服务,census 就会持续累计统计数据。把这些数据除以处理的请求数,你就得到每个请求让 GPU 付出了多少代价。

我们的服务是 llama.cpp,模型是 Qwen3.8-27B。它是一个混合模型:除了常规的 cache,它还带有 recurrent state,也就是对对话的运行记忆。

第一份 census 报告里有一个我们没想到的数字。每个请求都从 GPU 向主机内存拷贝了 643 MB。同样这些 prompt,一个普通的 8B 模型只拷贝了 49 MB。

这指向了状态保存。默认情况下 llama-server 在主机内存里维护 prompt cache,并为每个对话做 checkpoint。这是一种权衡:现在把对话状态从 GPU 拷出来,如果这个对话再回来,就加载副本,而不是把整个 prompt 重新算一遍。拷贝是每个请求都要付的,不管这个对话之后会不会回来。对这个模型来说,每次要拷几百兆字节。

字节数还不是全部代价。我们认为是这个拷贝运行在服务所有客户端的那个单线程上,所以当一个对话正在被保存时,全部十六个客户端都在等。我们对那个线程采样时,20 次里有 16 次它停在一次内存拷贝里。

--cache-ram 0 --ctx-checkpoints 0

吞吐量从每秒 58 个 token 升到 110 个,忙碌度从 35% 升到 88%。我们有点不敢相信,所以在全新的机器上用一个单独编写的客户端又跑了一遍。提升是 87%,第一次是 89% 和 94%。

在你照抄这些 flag 之前,先听一个警告。它们同时也会丢掉 prompt 复用,而那正是这种权衡的另一面。在一个普通的 8B 模型上服务会回来的对话(一台 L4,较旧的构建)时,它们让速度慢了大约 20%。把它们当作验证诊断的方法,而不是一份配方。

后来我们试了一个更新的 llama.cpp 构建(b12246,11 月 10 日;我们原来的是 b11669,10 月 15 日)。在默认设置下,它把同样的负载跑快了 67% 到 75%。基准测试到这里就停了:新版本,更快。

census 还有更多话要说。每个请求拷贝的字节数之前是 643 MB,之后是 644 MB,所以拷贝还是一样大。但 kernel 运行的时间占比从 30% 变成了 45%。拷贝显然变便宜了,而不是变小了。

这与上游发生的事吻合。在两个构建之间,三个合并的 pull request 改动了状态拷贝和存储的方式:#30881、#31391 和 #30137。已经有一个用户在 issue #30252 里报告了状态保存慢的问题,环境和我们的不同。我们没参与其中任何一个,也没有编译中间的提交,所以哪个改动解释了这一提升,只是我们的猜测。

还有两个百分比误导人的例子。

在一台 L4 上,llama.cpp 服务一个混合专家模型,其中一部分权重留在 CPU 上。nvidia-smi 读到 55% 忙碌。census 显示 kernel 运行时间占 25%,从 CPU 拷贝权重约占 30%。NVIDIA 的数据中心监控工具 DCGM 也读到 25%。我们的解读是这个百分比把拷贝时间算作了忙碌,而它的文档并没有这么说。我们没有证实这一点。

另一个方向:在 H100 上跑 vLLM,nvidia-smi 读到 95% 到 97% 忙碌,而 DCGM 的 SM occupancy(DCGM_FI_PROF_SM_OCCUPANCY)是 8% 到 12%。总有东西在运行,而它只用了这张卡的一小部分。census 目前还看不到这种情况。它只会说“忙碌”,我们希望它也能报告这一点。

census 目前是研究工具,不是成品。以下是我们已知的情况。

census 计划成为 Tensward 0.5 的一部分。目前还没有日期。

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →