返回资讯中心
外部精选
软件工程
#开发者实时流

Linux下通过PCIe交换机为四块显卡配置32GB Resizable BAR

来源标题:Fitting Four 32 GB Resizable Bars Behind a PCIe Switch on Linux

开发者发布gpu-rebar-layout内核模块,可在Linux下为PCIe交换机后的多块显卡分别映射完整的32GB Resizable BAR,从而启用AMD ROCm的P2P功能。测试平台使用Broadcom PEX88096交换机,连接四块AMD Radeon AI PRO R9700和两块RTX 3090,每卡分配八条通道。加入3090后主板POST停在白色VGA灯,因为每个32GB BAR占用64GB BIOS地址空间。

Hacker News 最新dougcalobrisi2026/11/12 · 5 天前14 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

我的 PCIe switch 是 Broadcom PEX88096,插在主板唯一的 x16 插槽里,后面挂着四块 AMD Radeon AI PRO R9700 和两块 RTX 3090(来自我那篇 PCIe splitter 文章),整机的搭建过程在那篇装机文章里。这个 switch 给每块卡八个 lane,并让卡与卡之间不经过 CPU 直接互拷。AMD 的 ROCm 把这种能力称为 peer-to-peer(P2P),而且只有在每块卡的完整 32 GB 都被映射时才会启用。在 Linux 上,这意味着每块卡都要有 32 GB 的 Resizable BAR。Resizable BAR 是 BIOS 里的一个选项,它让显卡的 BAR——也就是 CPU 物理地址空间中映射到显存的那段范围——达到完整的 32 GB,而不是默认的 256 MB。

装机文章发布后有不少人想要这个模块,所以我把它放到了 GitHub 上,名字叫 gpu-rebar-layout。它依赖一些内核内部实现,这些实现随时可能在任何版本中改变,所以加载前请先读 README。邮件列表上有一个 patch series 修掉了尺寸计算的 bug,但即使它合入,这块主板仍然需要这个模块来做 resize 和 rescan,并且要把它的 padding 关掉(pad=0)。

加上两块 3090 之后,主板在 POST 指示灯上停在了白色的 VGA 灯,因为每个 32 GB 的 BAR 要占用 BIOS 地址空间的 64 GB。具体算法在地址空间那篇文章里。这块主板的 BIOS 没有针对单块卡的 Resizable BAR 设置。Linux 可以给某些卡分配大 BAR、给另一些卡保留小 BAR,只要在任何 GPU 驱动加载之前完成就行。六块卡全插上、Resizable BAR 关闭的情况下,我想让 Linux 来做这个分配。计划是把每块 R9700 的 BAR 大小寄存器设成 32 GB,移除 switch 所挂的 CPU 端口,然后 rescan,让内核按照新的大小重新布局整个 switch。

每块 R9700 的 32 GB BAR 后面还跟着一个 doorbell BAR,用于驱动写入寄存器来通知显卡有新任务。Resizable BAR 开启时,BIOS 把它设成 256 MB;Linux 则保持 2 MB。内核给这个 switch 分配了大约 128.6 GB 的窗口。按 Linux 7.0 的布局方式,把 doorbell 放在每个 BAR 之后,四个窗口一共要占 224 GB(三个 64 GB 槽位,加上最后一块卡的 32 GB 和它的 doorbell)。结果两块 R9700 拿到了 BAR,switch 上其余的卡什么都没分到。

pci 0000:1b:00.0: bridge window [mem size 0x800200000 64bit pref]: can't assign; no space

这是在 7.0.6 上出现的。未打补丁的 v7.4-rc1 内核在对照实验里给四块卡中的三块分配成功,这个对照实验会在我那篇 Linux 内核补丁测试文章(即将发布)里讲到。0x800200000 就是 32 GB 加 2 MB,即一块卡的窗口大小。内核把 switch 的窗口大小算成了所有子设备的简单加和:四个这样的窗口,加上两块 3090 各自的 288 MB 窗口。

这个函数是 drivers/pci/setup-bus.c 里的 pbus_size_mem()。对 bridge 的每个子设备,它把子设备的大小,或者对齐值(如果更大)累加到总和里。

r_size = resource_size(r); size += max(r_size, align);

当每个子设备的大小都是其对齐值的整数倍时,这样算不会留下空隙——普通 BAR 都满足这一点,因为它们是 2 的幂。而这里一块 GPU 的窗口是 32 GB 加 2 MB,对齐值是 32 GB,所以这个加和漏掉了一块卡的 doorbell 到下一块卡起始之间将近 32 GB 的空隙。

这是一个已知的回归问题。Nikolas Britton 九月在 linux-pci 上报告了它,那个帖子标题几乎一字不差地描述了我的问题。维护这段代码的 Ilpo Järvinen 有一个修复,包含在一个 14 个 patch 的 resource placement 修复系列里,截至 11 月 6 日已到 v5,尚未合入。我测试了它,并向 linux-pci 邮件列表发了一个 Tested-by。打上之后,四块 R9700 都拿到了它们的 32 GB。

但即使有这个修复,这块主板仍然需要在 GPU 驱动加载之前有人来设置 BAR 大小并 rescan,因为 amdgpu 在加载时的 resize 无法扩大一个已经有其他卡占据的窗口。

内核其实已经知道如何在不改变大小的情况下提高 BAR 的对齐值,但在 pci=resource_alignment= 启动选项里指定设备走的是 resize 模式。对一块 R9700 要求 32 GB 对齐,也会把它的小 BAR 一起撑大,包括那个 512 KB 的寄存器 BAR——它位于 4 GB 以下,不可能按 32 GB 对齐。

绕过的办法是一个树外模块(out-of-tree module),从 initramfs(内核启动时用的那个很小的早期文件系统)里运行,早于任何 GPU 驱动加载。对每块匹配的卡,它设置 BAR 大小寄存器,然后移除 switch 上方的 root port 并 rescan。

在扫描和地址分配之间,它会遍历 switch 下的每一个 bus segment。它把每个较小的 64-bit prefetchable BAR 的对齐值提高到该 segment 上最大的 64-bit prefetchable BAR 的大小,对其他内存 BAR 也按单独一组做同样的事。于是每个 R9700 的窗口正好是 64 GB,每个 3090 的窗口正好是 512 MB。一旦每个窗口都是其对齐值的整数倍,剩下的就交给内核的分配器了。

重启之后,R9700 分别位于 160、224、288 和 352 GB,3090 紧随其后,amdgpu 报告了完整的显存。

amdgpu 0000:14:00.0: [drm] Detected VRAM RAM=32624M, BAR=32768M

配合这台机器原本就有的 ACS redirect 设置(在 R9700 的 switch 端口上使用 pci=disable_acs_redir=),R9700 之间的 P2P 每一对都跑到 14.0 GB/s——这正是一条八 lane 的 gen4 链路在实际中的水平——四块卡同时环形复制达到 54.7 GB/s。

这一次我得到了帮助。Claude 和我一起写了这个模块,通过 SSH 在机器上运行命令和测试,还帮我起草了这篇文章。我做了实际操作,通读了所有文字,核对了数字,并重写了任何听起来像聊天机器人的地方,所以错误都是我的。

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →