
RCCL 与 rocSHMEM 引入 GPU 发起的 SDMA 拷贝引擎
来源标题:GPU-Initiated DMA Copy Engines in RCCL and RocSHMEM
AMD 在 RCCL 和 rocSHMEM 中新增 GPU 发起的 SDMA 拷贝引擎,用于节点内 GPU 间数据传输,将数据搬移与计算单元执行解耦,从而释放 GPU 算力并仍能跑满可用带宽。该能力对通信处于关键路径上的推理负载尤其重要。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
2026年11月13日,作者:Aurelien Bouteiller、Nusrat Islam、Edgar Gabriel、Maria Garzaran。 阅读时长约7分钟。| 全文1723词。 软件工具与优化 性能、优化、HPC HPC Aurelien Bouteiller、Nusrat Islam、Edgar Gabriel、Maria Garzaran 英文 --> 随着GPU加速工作负载在多个设备和节点上扩展,GPU间通信的效率成为决定整体应用性能的关键因素。对于推理工作负载尤其如此——在这类场景中,通信位于关键路径上,而传统的计算与通信重叠方法若没有细粒度的、内核级别的编排,便难以奏效。 在本篇博客中,你将了解RCCL和rocSHMEM中提供的一项强大的新能力:用于节点内数据搬运的GPU发起的SDMA(系统DMA)复制引擎。你将了解到,这种方法如何将数据传输与计算单元的执行解耦,从而在为计算释放GPU资源的同时仍然跑满可用带宽。通过在AMD Instinct™ MI350X硬件上收集的性能结果,你将看到GPU发起的SDMA如何实现与传统实现相当甚至更高的带宽,而使用的计算单元可少至单个,而非64个。 设备端API之所以关键,是因为它们能够实现计算与通信的融合。对于优化推理工作负载而言,这一能力尤为重要——在这类负载中,通信位于关键路径上,而若没有两者之间细粒度的编排,计算与通信的重叠便不切实际。 最近,RCCL引入了对GPU发起通信的支持,既可以通过常规的load/store操作在scale-up域内进行数据传输,也可以通过GPU发起的网络(GIN)跨节点传输。rocSHMEM则从一开始就以此能力为架构设计基础。这两套GPU发起通信API都提供了简洁的抽象,用以访问能够实现高效scale-up数据传输的硬件特性,在最大化带宽的同时使用更少的资源。 以更少的计算单元(CU)实现高带宽:在八GPU的MI350X测试中,对于默认的RCCL AlltoAll和AllGather,GPU发起的SDMA在使用1个CU而非64个CU的情况下,实现了相当或更高的大消息带宽。同样,在rocSHMEM的putnbi测试中,对于512 KiB及更大的消息,SDMA在使用一个CU和一个wavefront的情况下,在所测配置中提供了最高带宽。 为计算释放更多资源:GPU内核发起传输,而专用的SDMA引擎负责搬运数据,从而减少融合计算与通信内核中的CU占用。 跨库验证:该通用方案可跨库工作。 GPU可以通过执行load/store指令的CU来搬运数据,也可以使用AMD硬件上称为SDMA的专用DMA复制引擎。另一个区别在于由谁发起传输:CPU还是正在运行的GPU内核。 CU负责发出命令并协调完成 虽然GPU发起的通信本身并不新颖,但本次发布的不同之处在于新增了对在scale-up域内使用SDMA复制引擎进行GPU发起通信的支持。这是一项重大进步:本次发布使GPU发起的通信能够利用SDMA引擎而非计算单元来搬运数据。AMD GPU配备了足够多的SDMA引擎,足以跑满scale-up域内的可用带宽。 这种方法的关键优势在于资源利用率。在传统的融合计算与通信内核中,计算单元必须同时服务于计算和数据传输,从而造成对共享资源的争用。通过GPU发起的命令将通信卸载到SDMA引擎,计算资源便可完全用于内核的计算部分。值得注意的是,这种方法仅需一个CU(即发出SDMA命令所需的那个CU)就能跑满可用带宽。 为展示这种方法的优势,图1和图2分别比较了AlltoAll和Allgather三种不同实现的性能: 基于load/store指令的默认RCCL实现 Host-SDMA和GIN-SDMA依赖对称内存注册,而默认实现则不依赖。实验结果在AMD Instinct™ MI350X节点的一块八GPU上收集,总线带宽以消息大小的函数形式报告。如图所示,在所评估的大消息尺寸下,SDMA实现的带宽与默认实现相当——并略高于后者。对于alltoall,消息大小大于32MiB时使用GIN-SDMA后端;更小的尺寸则使用向量load-store操作(图1中的红线)。对于allgather,消息为512KiB或更大时使用GIN-SDMA。值得注意的是,GIN-SDMA在仅使用一个CU的情况下,便提供了高于默认实现的带宽,而默认RCCL算法需要64个CU。 图1:单节点八块AMD Instinct MI350X GPU上的AlltoAll总线带宽# 图2:单节点八块AMD Instinct MI350X GPU上的Allgather总线带宽# rocSHMEM同样支持GPU发起的SDMA,如图3和图4所示。 图3展示了在AMD Instinct™ MI350X GPU节点的一块八GPU上以单个CU运行rocshmem_alltoall_wg的总线带宽。性能在两种配置之间进行比较:(a)启用SDMA(SDMA ON),使用一个CU和一个wavefront;(b)禁用SDMA(SDMA OFF),使用一个CU和16个wavefront。如图所示,SDMA ON的性能显著更高,因为单个CU无法通过常规的load和store跑满可用带宽。 CU上的线程负责执行复制指令 线程发出命令;SDMA引擎负责复制数据
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。