
为什么有空闲 GPU 时多卡任务仍在排队?
来源标题:Why can a multi-GPU job wait while GPUs are idle?
六个 GPU 空闲,申请四个 GPU 的任务却仍在等待,原因往往不是调度器出错,而是空闲总数没有说明哪些 GPU 真正满足该请求。Slurm 会显示资源不足、优先级、关联/QOS 限制或依赖等排队原因,但显示的原因只是本次调度尝试遇到的约束,并非完整诊断。若受限于依赖或策略,增加空闲设备也不会自动让分配变得可行。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
六块 GPU 空闲,一个只要四块 GPU 的任务却还在等待。人们很容易把原因归到调度器头上,但集群总量掩盖了真正关键的细节:这个任务实际能用的是哪四块 GPU?
空闲数量只能说明设备没在忙,并不能说明它们是否满足某个具体请求、是否在相应策略下可访问,或者能否一起运行这个应用。这些是不同的检查。我们不妨从一个待处理任务入手,再逐步向外排查。
Slurm 会给出待处理原因,例如资源不可用、优先级、关联或 QOS 限制以及依赖关系。一个任务可能同时受多个约束;显示出来的原因只是本次调度尝试遇到的那一个,因此它是有用的起点,而不是完整的诊断。[1]
如果阻塞因素是依赖关系,那么更换 GPU 类型并不会让前序任务完成。如果存在关联或 QOS 限制,增加空闲设备并不会自动让这次分配变得允许。如果请求无法满足,先检查它的具体形态,再下结论说集群太小。
保留一份简短的诊断记录:请求内容、待处理原因、观察时间、符合条件的节点以及适用的策略。只凭一张空闲 GPU 的截图、没有这些上下文,很难作为购买硬件或更换调度器的依据。
设想这样一个集群:四块 GPU 配置为类型 A,其中两块已被占用;另外四块是类型 B,全部空闲。一个任务请求四块类型 A 的 GPU。
有六块设备空闲,但只有两块匹配。仅凭这个快照,这次分配无法拼凑出来。Slurm 可以通过其 generic-resource 配置来表示 GPU 类型;请求能选中什么取决于该配置。[2]
类型限制可能是必要的。也许模型需要的内存超过类型 B 所能提供,或者经过验证的环境依赖某条特定的软件路径。也可能只是旧提交脚本里沿用的配置。仅凭观察无法区分这些情况。
去问应用负责人为什么存在这个限制。然后测试另一种配置能否以所需质量完成同样的工作。在回答这个问题之前就移除请求约束,可能把一个等待中的任务变成一个失败的任务。
分配还需要在正确的位置有足够的配套资源。检查主机内存、CPU 需求、放置位置、网络访问以及账户可用的分区。四块空闲 GPU 分散在四台机器上,和四块在同一台机器上,可能是非常不同的选项。
这正是“碎片化”需要精确描述的地方。哪些部分可用?需要哪种组合?是什么阻碍了这些部分一起使用?当这个词指出缺失的组合时,比它给每一次排队延迟都贴上标签要有用得多。
还要把资源资格与应用资格区分开。工作负载管理器可能分配并启动一个训练运行时无法高效使用的组合。Slurm 支持异构作业组件;这项能力本身并不能解决训练算法的兼容性或通信需求。[3]
我们仓库对历史 Helios trace 的分析发现,多节点任务的 p90 等待时间远长于单节点任务:约 21 分钟对 3 分钟(恰好两个节点的任务为 37 分钟)。多节点任务在任务数量中占比很小,但在 GPU-hours 中占比很大。这些是来自 SenseTime 八个 Helios 集群中四个的观察结果(公开 trace,2020 年 4 月至 9 月),不是对大学集群的预测。[4]
这些观察让多节点请求值得调查。它们并不能说明空闲 GPU 是错误型号。Helios 提供队列信息,但缺少得出该结论所需的 GPU 类型证据;我们的 Alibaba PAI 分析提供类型信息,却没有有用的等待时间差异。把两幅不完整的图景拼在一起,并不能创造出缺失的因果观察。
对于真实集群,我们会希望同时获得证据:任务需要什么、为什么等待、哪些设备空闲,以及那些设备本能否完成其工作负载。正是在这一点上,一个看似合理的想法变成了可测试的运维问题。
选择一个有明确验收标准的可重复任务。记录它通常的请求以及从提交到获得可接受结果的时间。如果有更广泛的硬件配置符合条件,也测量其设置、运行时间、通信、故障、质量和成本。
替代方案可能执行得更慢,但因为启动更早而仍然更早返回结果。它也可能因开销而失去这一优势。它也可能完全不适合。一张空闲 GPU 图表无法在这些结果之间做出选择。
Nodeox 正在调查合适的工作负载能否使用更广泛的混合 GPU 分配。其 E1 训练测试并不衡量客户队列节省。在做出这一声称之前,我们需要队列记录以及在决策真正重要的环境中进行的工作负载比较。
对于下一个待处理任务,把空闲设备数量放在其实际请求旁边。差异往往正是有用问题的起点。
Helios 公开 trace,四个已发布集群,2020 年 4 月至 9 月。队列等待百分位数由 Nodeox 于 2026 年 11 月 1 日重新计算:单节点任务约 3 分钟,所有多节点任务 21.1 分钟,恰好两个节点的任务 37 分钟。
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。