
Nodeox Workbench 新增 GPU 选择功能,可预估显存占用与运行时间
来源标题:We choose GPUs for a training job
Nodeox Workbench 上线主机选择器、显存适配估算和运行时间预测,帮助用户为训练任务挑选 GPU。该流程先确认所需算子、数据类型和软件版本是否存在受支持的执行路径,再对比速度。用户可将预测结果与完成后实际运行对比。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
这个训练任务该用哪些 GPU?在比较速度之前,我们要先弄清模型能否放得下、软件路径是否走得通,以及各主机之间如何协同工作。
我们把这项决策的更多环节搬进了 Nodeox Workbench:主机选择器、内存占用估算,以及可与实际运行结果对比的运行时长预测。下面是我们采用的流程,并以最近一次全量微调任务作为示例。
记录下模型及版本、数据集、训练方法、batch size、精度和工作量,并确定如何检验结果。有了这些设置,GPU 比较才有意义。
较小的 batch 会改变能放得下的内容。不同的精度会改变内存占用和性能。跑推理并不能说明全量微调需要多少资源。我们把预期配置与比较结果绑定在一起,确保有潜力的设备是在我们真正需要的工作负载上接受检验。
首先,确认所需的算子、数据类型和软件版本都有受支持的执行路径。如果某个后端会回退到 CPU,要把数据传输和耗时计算在内。在框架里能看到某个设备,只是这项检查的开始。
然后,不要只看权重的大小。训练还可能用到激活值、梯度、优化器状态和临时缓冲区。batch size 以及任务的切分方式都会影响总量。
在 Workbench 中,每台主机都会针对所选模型和训练方法给出内存占用估算。该估算目前还不计入 batch size。它让各项假设在 Load 之前就可见;而代表性运行则检验配置是否真的可行。
主机内存同样重要。数据准备、聚合和结果保存都会用到 GPU 之外的资源。我们把这些阶段作为整体配置的一部分来检查。
在我们的 ViT-H 协同研究中,调整模型状态的持有和释放方式后,进程峰值从 29.4 GB 降到 9.6 GB,落在 16 GB 预算之内。该检查使用了两台共享一块 MI300X 的软件主机。对 GPU 选择来说,实际教训是:既要检查每块 GPU 的显存,也要检查协调节点的 RAM 预算。在 Workbench 中,如果 Load 时估算协调节点会超出其 RAM 预算,会在占用任何 GPU 主机之前被拒绝。
主机选择器把 GPU 类型、显存、速度、链路测量值和可用性集中到一处。我们可以逐一查看各台主机,而不是根据整个集群的总量来做决定。
自动选择适合用来组建候选集。默认情况下,它会加入最快且合适的主机,同时每加入一台都能让预测时长至少缩短 5%。当我们需要特定主机时,可以手动挑选并在准备运行期间将其锁定。选择仍然必须对工作负载有意义。
即使两台主机的 GPU 型号相同,链路测量值也值得关注。在一次预测校验中,两台租用的 RTX 4090 实测下载速度分别为 52 Mbit/s 和 4 Mbit/s。两者同时选中时,预测时长升至约 39 分钟,其中大部分是 Load;自动选择只取了一台。这就是一个具体理由,说明应当检查主机,而不是只看显卡规格。
模型分别在两个设备上运行,是一个有用的检查。让它们协同工作的训练任务,还要在决策中考虑任务分配、通信和同步。
更快的计算可能被准备、传输或应用更新所花的时间抵消。因此我们既考虑运行各阶段的耗时,也考虑主机的计算速度。有意义的比较,是在拟定配置下完成同一工作负载的情况。
这也是为什么内存占用估算和运行时长估算回答的是不同问题。一个配置看起来可行,仍可能因为可用时间有限而不是好选择。
11 月 2 日,我们用 Oxford-IIIT Pet 上 ViT-B/16 的全量微调检验了预测。运行使用了一块 NVIDIA RTX 4090 和一块 NVIDIA RTX 3060,四轮、每轮 300 个训练步,在两台主机间平均分配,batch size 为 32。
在 Load 之前,我们可以把所选配置的预计时长与可用时间作比较。把原始估算与完成的运行放在一起,事后就能审查这一选择。
在上面的全量微调检验中,实际运行 542 秒完成,初始估算为 627 秒,处于计划范围内。预测方法及其验证我们会在另一篇研究文章中介绍;在这里,估算用于支持主机选择决策。
时间估算解决的是时长问题。结果质量有它自己的验收测试。在把某个配置视为适合下一项工作之前,我们会单独检查这一点。
对于候选配置,我们保留一份简短记录:工作负载和设置、软件与内存检查、所选主机、估算与实际耗时、结果质量,以及任何失败或恢复情况。
这份记录有助于区分三件事:我们预期什么、什么成功完成了,以及下一次运行我们会改变什么。一次完成的运行只能为该配置提供证据;反复进行可比的运行,才能说明它有多可靠。
Workbench 的更新让我们可以查看主机、选择候选配置、看到预期运行时长,并把这一预期与我们完成的运行作对比。
对下一个任务,我们从它需要完成什么出发,然后选择能做出贡献的 GPU,检验这一组合,并为下一次决策保留证据。
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。