开发者推出cudamemcpy-tuner,B300上CPU与GPU拷贝提速最高5倍
来源标题:cudamemcpy-tuner: cudaMemcpying up to 5x faster on a B300
开发者发布cudamemcpy-tuner,可在不修改原应用的情况下将CPU与GPU间的可分页内存拷贝最高提速5倍。该工具在B300节点上测试,通过cmt tune命令即可应用,也可用--search参数调整配置。作者称写作未使用AI,AI仅用于生成可视化图表。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
我开发了 cudamemcpy-tuner,这个工具可以将 CPU 与 GPU 之间的 pageable 拷贝提速最高达 5 倍,而且无需对原应用做任何修改。写作过程中没有使用 AI。AI 仅用于可视化和图表。
以下是一些可以看到加速效果的场景:
拷贝张量
a = np.zeros((1024, 3, 224, 224), dtype=np.float32) b = torch.from_numpy(a).to("cuda") c = jax.device_put(a)
Huggingface 模型加载
model = AutoModel.from_pretrained("Qwen/Qwen3-8B", device_map="cuda") size_t size = 1024 * 1024 * 1024; // 1 GB void* a = malloc(size); cudaMalloc(&b, size); cudaMemcpy(b, a, size, cudaMemcpyHostToDevice); // or cudaMemcpy(b, a, size, cudaMemcpyHostToDevice);
以下是 B300 节点上的结果:
这里有一个链接,可以让 ChatGPT 或 Claude 为本文生成 TL;DR。
B300 和 3090 的完整分解图表:
要改善 pageable 内存传输,你只需运行:
cmt tune -- llama-cli -hf unsloth/Qwen3.8-27B-GGUF
就这样。你也可以通过传入 --search instant 来立即使用估算设置,或传入 --search full 来寻找更适合你环境的配置。
我正在寻找 2027 年 LLM 服务和性能工程方面的机会:Email
GPU DMA 引擎无法读取 pageable 内存,因为操作系统可以自由移动这些内存。因此,pageable 内存会先被拷贝到一个小型的 pinned 缓冲区,然后由 GPU DMA 引擎发送到 GPU。Pinned 内存则直接拷贝到 GPU。
建议在需要反复从同一缓冲区拷贝的场景中使用 pinned 内存,例如数据加载或 kv cache 卸载。分配 pinned 内存是资源密集型操作,而且操作系统无法将其换出。Paged 内存则可用于一次性拷贝,例如模型加载。
这些年来,我不断看到同样的图片,教程里反复讲 pinned 与 pageable 内存的区别以及 PCIe 链路带宽。下面展示几个例子:
这是 NVIDIA 在 2012 年发布的一个教程,描述了 pinned 和 pageable 拷贝。如果你不熟悉 pageable/pinned 内存或需要复习,NVIDIA 的这篇博客是很好的背景资料。
设备:GeForce GTX 680 传输大小 (MB):16 Pageable 传输 主机到设备带宽 (GB/s):5.368503 设备到主机带宽 (GB/s):5.627219 Pinned 传输 主机到设备带宽 (GB/s):6.186581 设备到主机带宽 (GB/s):6.670246
另一个来自 pytorch,展示了 2024 年使用 tensor.pin_memory().to(device, non_blocking=True) 进行 pinned 内存拷贝。
我也经常看到 PCIe 带宽测试,尤其是学术工作和偏硬件的博客,用微基准来记录新芯片的性能。如果你不熟悉这些图,X 轴是被拷贝的字节数。Y 轴是用字节数除以时间得到的拷贝耗时,通常以 GB/s 为单位。GB/s 越高越好。
有一天我想到一个问题:为什么 pageable 拷贝比 pinned 内存拷贝慢那么多?Pinned PCIe 拷贝大约在最大值的 85% 左右。例如,如果主板/GPU 在 PCIe 4.0 下 rated 约 32GB/s,你可以预期约 27GB/s 的拷贝。这是由于 PCIe 协议处理拷贝的方式。至少在 AMD 上每个 payload 有 20 字节的开销,我假设 NVIDIA 也是如此。从我看到的 CPU 拷贝基准来看,CPU 拷贝相比 PCIe 传输速度相当快。和往常一样,这些基准不代表我们能达到的结果,但能很好地指示潜在的最大带宽。
这是一张近期 Intel CPU 拷贝带宽的图表:
理论上,如果 CPU 拷贝和 GPU 传输速度相等,它们应该重叠。传输时间 = max(CPU 拷贝, PCIe 带宽),如果 CPU/内存能够维持拷贝带宽,PCIe 带宽应该成为瓶颈。
NVIDIA 的 cudamemcpy 实现通过双缓冲使用两个 staging 缓冲区来拷贝数据。对于主机到设备的拷贝,pageable 源缓冲区的数据被拷贝到一个中间 pinned 缓冲区。然后 GPU 将数据直接拷贝到 GPU 内存。
这个工具使用多线程和多个 staging 缓冲区来运行 cudamemcpy。
主要结论是,原始实现可能在过去几年里没有跟上,而 PCIe 带宽和多线程拷贝在此期间已经扩展。
我查看了现代 Intel 数据中心处理器的单核拷贝速度。多年来,单核拷贝速度一直保持相对恒定。
这也是我在运行的 B300 上看到的情况。
然而,使用更多核心进行拷贝已经可以扩展:
我想构建一个基准,衡量调优工具对人们日常运行应用的影响。特别是,我希望代表性的工作负载覆盖一系列硬件:从个人笔记本到 GPU 数据中心。我将其称为 CMT 基准。
我通过 Vast.ai 和 Runpod 租用了机器。收据在“烧掉的钱”里。
让我们看看两个设置的微基准:一个使用 B300,另一个使用 3090。
我们可以看到,优化版本大幅超越了默认 pageable 拷贝(1GB 时 52GB/s vs ~10GB/s),接近 pinned 拷贝(~56GB/s)。你可以在展开部分找到其他图表,或在我托管的网站上查看基准:cudamemcpy.com。欢迎通过发送 PR 分享你调优后的值。
以下是使用各种拷贝形式在 x86 上对单核拷贝速度进行基准测试的图表。另一张图显示了带宽随扩展的提升。
这里我们可以了解拷贝速度的大致情况。但它可能不代表端到端的加速,因为真实工作负载先执行一次拷贝,然后使用 DMA 再拷贝到 GPU。
对于家用桌面设置,许多应用受限于 VRAM 容量。我们可以看到在需要卸载的工作负载(文本、图像生成)中有加速,以及在启动推理引擎(llama.cpp、vllm、sglang)方面的一些改进。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。