
在消费级主板上通过PCIe交换卡单槽接入六块GPU
来源标题:Six GPUs on One X16 Slot: R9700s and RTX 3090s Behind a PCIe Switch
用户在一张华硕TUF X570-Plus消费级主板上,借助Broadcom PEX88096 PCIe交换卡,于单个x16插槽接入六块GPU(四块AMD Radeon AI PRO R9700与两块RTX 3090),并在Debian 13上同时运行ROCm与CUDA。四块R9700以TP4张量并行运行Qwen3.8-27B,32k token提示预填充速度约4700 token/秒,233k token提示为3340 token/秒,16个客户端合计输出601 token/秒。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
我把六块 GPU 插在了一块 ASUS TUF X570-Plus 唯一的 x16 插槽上。这是一块消费级主板,配 Ryzen 9 3900X 和 128 GB 内存。其中四块是 AMD Radeon AI PRO R9700,每块 32 GB;另外两块是 RTX 3090,来自我之前那篇 PCIe 拆分器文章,一块 ROG Strix,一块 Founders Edition。它们全都挂在一张 Broadcom PEX88096 PCIe switch 卡后面,ROCm 和 CUDA 在同一台 Debian 13 主机上并存。在四块 R9700 上,用张量并行拆成四路(TP4),Qwen3.8-27B 处理 32k token 的 prompt 时预填充速度约为每秒 4,700 token,处理 233k token 的 prompt 时为 3,340;十六个客户端合计能拿到每秒 601 token 的输出。庆幸的是,这些硬件我都是在价格又一次翻倍之前入手的。
switch 卡是从 eBay 买的,插在插槽 1,也就是直连 CPU 的那个插槽。主板另一个全长插槽挂在 X570 芯片组下,最高只能跑 x4,而芯片组通往 CPU 的那条链路还要和 USB、SATA 等一大堆东西共享。把六块 GPU 挂在那后面,等于让它们和主板上其他设备抢四条 lane。插在插槽 1 时,CPU 用一条 gen4 x16 链路连到 switch,GPU 在 switch 后面枚举出来,所以主板不需要做拆分(bifurcation)设置。
每块 GPU 各自拥有一条 gen4 x8 链路,终止于 switch。R9700 位于总线 11 上的一组四个端口,3090 位于总线 0d 上的一组两个端口。
我选择 switch 而不是再加一个 riser,是因为 riser 没法从一个插槽里引出六块 GPU。拆分最多把一条 x16 插槽分成四条 x4 链路,而 switch 能让每块卡都拿到自己的 x8。它还让 R9700 之间可以直接点对点通信(P2P)(拆分器 vs PCIe switch)。四块卡同时拷贝时达到 54.7 GB/s,大约是 x16 上行链路单向约 28 GB/s 的两倍,所以这部分流量根本不会离开 switch。
BIOS 里:关闭 CSM,开启 Above 4G Decoding,关闭 Resizable BAR。BAR 是 CPU 用来访问显卡内存的窗口,Resizable BAR 让这个窗口能覆盖全部显存,所以对一台围绕大 BAR 搭建的机器来说,把它关掉是个奇怪的设置。开着它时,主板会卡在白灯 VGA 上。为了把它重新关掉,我不得不拔掉一块 3090 才能进 BIOS。
BIOS 只能对所有显卡统一开启或关闭 Resizable BAR,而 128 GB 内存装不下六个 32 GB 的 BAR。于是改由 Linux 来分配大小,用的一个小内核模块 gpu_rebar_layout,它从 initramfs 里、在任何 GPU 驱动加载之前运行。它只给四块 R9700 分配 32 GB 的 BAR,并绕过一个 Linux 7.0 的 bug——该 bug 把 switch 的窗口算得太小,容不下这些 BAR。这个模块和这个 bug 会另写一篇文章(即将发布)。
iommu=pt pci=disable_acs_redir=0000:11:00.0;0000:11:08.0;0000:11:10.0;0000:11:18.0 gpu_rebar_layout.ids=1002:7551 gpu_unlock.targets=all amdgpu.runpm=0
iommu=pt 让 IOMMU 保持直通模式开启,switch 和 P2P 就是在这种模式下测试的。gpu_rebar_layout.ids=1002:7551 告诉模块要调整哪些卡的大小。我还没发布它,但如果你觉得有用,欢迎联系我。
窗口大小计算 bug 的真正修复是 linux-pci 上的一个补丁系列。我在这台机器上测试了它,并向邮件列表发送了 Tested-by,这本身就是一次难得的经历。即使它被合并,这块主板仍然需要在 GPU 驱动加载之前调整大小并重新扫描。
gpu_unlock.targets=all 告诉 gpu-unlock 要解锁哪些卡,这里是两块 3090。它解除 GeForce 在 FP32 累加张量运算上的半速限制,而且必须在 NVIDIA 驱动绑定之前运行,所以它放在 initramfs 里,在我的模块之后加载。amdgpu.runpm=0 让 R9700 不进入 BACO,也就是它们空闲时进入的低功耗状态——在我某次构建模块之后,四块卡全都因 BACO 挂起而失联。现在这些卡空闲时不再断电了。
ACS(Access Control Services)重定向会把 switch 端口之间的对等流量强制上送到 CPU 的根端口。pci=disable_acs_redir= 在四个 R9700 端口上把它关掉,让 switch 在本地路由它们的流量,代价是这些卡之间失去隔离(这就是 switch 的代价)。
如果某次启动出了问题,在 GRUB 菜单按 e,为那次启动删掉 gpu_rebar_layout.ids= 和 gpu_unlock.targets=。没有这两项,两个模块都不做任何事。每次启动还会记录两条 can't assign 行,一条针对 0d:18.0 上的一个桥窗口,一条针对第一块 3090 的 ROM。它们无害:3090 不需要自己的 ROM,而且每个真正的 BAR 都被分配了。
3090 运行 NVIDIA 官方的 580 开源模块。那个为 GeForce 卡开启 P2P 的社区补丁驱动需要大 BAR,而这些 3090 保留着 256 MB 的 BAR,所以它在这里无从发挥。我硬试了一下,结果第一次对等拷贝就挂住了一块卡。官方驱动也正是 gpu-unlock 所针对的。在它上面,nvidia-smi topo -p2p r 显示两块 3090 之间是 CNS(chipset not supported,芯片组不支持),拷贝走主机内存。
R9700 运行 ROCm 7.2.4 上的 radiance 1.4.0,Qwen3.8-27B 用 MXFP4,TP4,262,144 token 上下文和 FP8 KV cache,每块卡功耗上限 250 W。
在并发测试中,每个客户端发送 1,024 token 的 prompt,返回 512 token。单个客户端能拿到每秒 151.1 token,十六个客户端合计每秒 601.1 token,首 token 时间中位数为 2.18 秒,最差为 3.49 秒。单个请求在首 token 之后解码速度为每秒 180 到 394 token,取决于它在写什么。关闭 P2P 会让 16 客户端的总量大约减半,P2P 那篇文章(即将发布)会深入探讨。
3090 运行与拆分器文章中相同的 vLLM 0.28 镜像,TP2、P2P 关闭、多 token 预测(MTP)k=3 以及 KVarN cache,服务 Swift-1.5——Qwen3.8-27B 的一个 W4A16 量化版本(4 位权重,16 位激活)。开启 gpu-unlock 后,10.8k token 的 prompt 预填充速度约为每秒 2,390 token,解码单流为每秒 67 token,八路为 400。gpu-unlock 让 vLLM 预填充快了 13% 到 20%,解码没有明显收益,更多内容见 gpu-unlock 那篇文章(即将发布)。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。