返回资讯中心
外部精选
软件工程
#社区热议

Linux下通过PCIe交换机为多显卡配置32GB可调整BAR

来源标题:Fitting Four 32 GB Resizable Bars Behind a PCIe Switch on Linux

开发者发布GitHub模块gpu-rebar-layout,在Linux下让Broadcom PEX88096 PCIe交换机后的每张显卡获得完整32GB Resizable BAR,从而启用AMD ROCm的P2P直连。该配置涉及四块Radeon AI PRO R9700和两块RTX 3090,每卡分配8条通道。加入3090后主板POST卡在VGA白灯,因每个32GB BAR占用大量地址空间。

Hacker Newsdougcalobrisi2026/11/12 · 5 天前14 分钟阅读

以下正文由 AI 翻译自 Hacker News(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

我的PCIe交换机是一块Broadcom PEX88096,插在主板唯一的x16插槽里,后面挂着四块AMD Radeon AI PRO R9700和两块RTX 3090——它们都来自我那篇PCIe拆分器文章,整机配置在那篇装机文里。 交换机给每块卡分配八条lane,并允许卡与卡之间直接拷贝,不必经过CPU。AMD的ROCm把这种能力称为peer-to-peer(P2P),而只有当每块卡的整个32 GB都被映射出来时,它才会启用P2P。在Linux上,这意味着每块卡都要有一个32 GB的Resizable BAR(基地址寄存器)。Resizable BAR是BIOS里的一个选项,它让卡的BAR——也就是CPU物理地址空间中映射到该卡显存的那段范围——取完整的32 GB,而不是默认的256 MB。 装机文发出后有不少人问起那个模块,所以我把它放到了GitHub上,名字叫gpu-rebar-layout。它依赖内核内部实现,而这些实现随时可能在任何版本中改变,所以加载前请先读README。邮件列表上有一个补丁系列修掉了尺寸计算的bug,但即便如此,这块主板在补丁合入后仍然需要该模块来做resize和rescan,并且要关掉它的padding(pad=0)。 加上两块3090之后,主板卡在POST LED的白灯VGA灯上,因为每个32 GB的BAR要占用BIOS地址空间中的64 GB。地址空间的算术在那篇文章里。 这块主板的BIOS没有按卡设置Resizable BAR的选项。Linux可以给某些卡分配大BAR、让其他卡保持小BAR,只要它在任何GPU驱动加载之前完成即可。六块卡全部插上、Resizable BAR关闭的情况下,我希望由Linux来完成分配。计划是:把每块R9700的BAR尺寸寄存器设为32 GB,移除交换机所挂接的CPU端口,然后重新扫描,让内核按照新的尺寸重新布局整个交换机。 每块R9700的32 GB BAR后面还跟着一个doorbell BAR,用于驱动写入寄存器、通知卡有新任务。Resizable BAR开启时,BIOS把它设成256 MB;Linux则把它保持在2 MB。 内核给交换机分配了大约128.6 GB的窗口。按照Linux 7.0的布局方式,doorbell排在每个BAR之后,四个窗口共占224 GB(三个64 GB槽位,加上最后一块卡的32 GB及其doorbell)。两块R9700拿到了BAR,交换机上其余的卡什么也没分到。 pci 0000:1b:00.0: bridge window [mem size 0x800200000 64bit pref]: can't assign; no space 这发生在7.0.6上。未打补丁的v7.4-rc1内核在对照运行中把四块卡中的三块放了进去,那部分内容由Linux内核补丁测试文章(即将发布)覆盖。 0x800200000就是32 GB加2 MB,即一块卡的窗口。内核把交换机的窗口大小算成了其子设备的简单求和:四个这样的窗口,加上两块3090各自的288 MB窗口。 相关函数是drivers/pci/setup-bus.c中的pbus_size_mem()。对于桥的每个子设备,它把子设备的大小、或者对齐值(如果更大)累加到总量中。 r_size = resource_size(r); size += max(r_size, align); 当每个子设备的大小都是其对齐值的整数倍时,这样算不会留下空隙——普通BAR确实如此,因为它们是2的幂。而这里一块GPU的窗口是32 GB加2 MB,对齐值是32 GB,于是求和时漏掉了某块卡的doorbell与下一块卡起始之间近32 GB的空隙。 这是一个已知的回归问题。Nikolas Britton在九月向linux-pci报告过,那个讨论串的标题几乎一字不差地描述了我的问题。 维护这段代码的Ilpo Järvinen在一个包含14个补丁的资源分配修复系列中给出了修复,截至11月6日已是v5,尚未合入。我测试了它,并向linux-pci邮件列表发送了Tested-by。有了它,四块R9700都能拿到各自的32 GB。 即便有了修复,这块主板仍然需要某种东西在GPU驱动加载之前设置BAR尺寸并重新扫描,因为amdgpu在加载时做的resize无法扩大一个已经被其他卡占据的窗口。 内核已经知道如何在不改变BAR大小的前提下提高其对齐值,但在pci=resource_alignment=启动选项中指定设备会改用resize模式。对一块R9700要求32 GB对齐,也会把它的小BAR一并放大,包括那个512 KB的寄存器BAR——而它无法在4 GB以下对齐到32 GB。 解决办法是一个树外模块,从initramfs(内核启动时所用的那个极小的早期启动文件系统)中运行,赶在任何GPU驱动加载之前。对于每块匹配的卡,它设置BAR尺寸寄存器,然后移除交换机上方的根端口并重新扫描。 在扫描与地址分配之间,它会遍历交换机下的每一个总线段。它把每个较小的64位可预取BAR的对齐值提升到该段上最大的64位可预取BAR的大小,并对其他内存BAR作为单独一组做同样的处理。于是每个R9700窗口恰好变成64 GB,每个3090窗口恰好变成512 MB。一旦每个窗口都是其对齐值的整数倍,剩下的就交给内核的分配器。 重启之后,R9700分别位于160、224、288和352 GB,两块3090紧随其上,amdgpu报告出了整块卡。 amdgpu 0000:14:00.0: [drm] Detected VRAM RAM=32624M, BAR=32768M 配合这台机器原本就有的ACS重定向设置(在R9700的交换机端口上使用pci=disable_acs_redir=),R9700之间的P2P在每一对上都跑到14.0 GB/s——这正是八lane gen4链路在实践中的带宽——四块卡同时环形拷贝则达到54.7 GB/s。 这件事我得到了帮助。Claude与我一起写了这个模块,通过SSH在机器上运行命令和测试,还帮我起草了这篇文章。我做了实际动手的部分,读完了每一个字,核对了数字,并重写了任何听起来像聊天机器人的地方,所以错误都在我。

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →