
Kubernetes 原生调度器难满足 AI 训练,Kueue 与 Coscheduling 插件补上拓扑感知和帮派调度
来源标题:Gang scheduling and topology-aware placement for AI training in Kubernetes
Kubernetes 内置调度器无法满足分布式 AI 训练需求,因为它逐个独立调度 Pod,而训练要求所有 Pod 同时启动并按 GPU 间带宽匹配硬件。拓扑感知调度(TAS)与帮派调度分别解决这两点,前者优化 Pod 相对位置以加速 GPU 通信,后者确保分布式任务中所有 Pod 同时运行,避免 GPU 被占用却空闲。Kueue 和 Coscheduling 插件实现了这两种能力。
以下正文由 AI 翻译自 CNCF Blog(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
分布式 AI 训练工作负载对调度提出了复杂要求,Kubernetes 内置调度器无法满足。Kubernetes 逐个、独立地调度 Pod,但分布式训练引入了两项打破这一模型的需求:Pod 必须落在具备合适 GPU 间带宽的硬件上,而且所有 Pod 必须同时被调度。只要有一项需求未满足,训练就会停滞,或远低于硬件潜力运行。
拓扑感知调度(TAS)和 gang 调度分别解决这两项需求,帮助组织从 GPU 容量中获取全部价值——GPU 容量在基础设施支出中的占比正日益增长。TAS 调整 Pod 的相对放置位置,以实现 GPU 之间的快速通信。Gang 调度有助于确保分布式作业中的所有 Pod 同时开始运行,避免出现部分启动、导致 GPU 已被分配却处于空闲状态的情况。二者结合,为 Kubernetes 提供了分布式工作负载所需的放置精度与协调能力。
本文将探讨 AI 训练给 Kubernetes 带来的调度问题,以及由 Kueue 和 Coscheduling 插件实现的 TAS 与 gang 调度如何解决这些问题。我们将深入分析:
- Kubernetes 调度器为何不适合 AI 训练
- 如何在 Kubernetes 中验证 gang 调度与 TAS 我们还会介绍 Kubernetes 原生调度器为支持 AI 训练工作负载而不断演进的能力。
Kubernetes 调度器为何不适合 AI 训练
在大多数批处理工作负载中,Pod 独立运行。某个 Pod 可以失败、被重新调度或被替换,而不会影响工作负载的其余部分。Kubernetes 调度器很好地处理了这一模型:它逐个将 Pod 放置到任意符合条件的节点上,无需在 Pod 之间进行协调。
但 AI 训练工作负载中的 Pod 相互依赖。它们需要被放置在具备合适 GPU 间带宽的硬件上,而且必须全部同时启动。以下各节将解释这些需求,以及 Kueue 和 Coscheduling 如何通过增强 Kubernetes 的调度能力来满足它们。
拓扑放置如何影响分布式 AI 训练性能
节点之间的物理互连是影响 AI 训练工作负载性能的关键因素。在训练过程的每一步中,worker 通过集合通信操作交换数据,而这些操作的类型和频率取决于作业的并行化策略。在纯数据并行(DDP)训练中,每一步执行一次 AllReduce 操作,对梯度进行聚合、求平均和分发——梯度是计算出的信号,指示应如何调整模型参数以改善其预测。在将模型分片到多个 worker 的大规模训练策略中,worker 则会在整个步骤中通过 gather、reduce 和 all-to-all 等操作持续交换数据。这些大规模策略包括张量并行、流水线并行和专家并行,在 LLM 预训练中常被组合使用。无论作业采用哪种模式,底层约束都是相同的:这种通信对延迟敏感,而 worker 在集群中的落点决定了作业要承受多少延迟。
worker 之间可用的带宽取决于它们在集群中相对于彼此的位置。GPU 集群中常见的拓扑域如下:
- 同一节点:这通常是最低延迟的选项。当 GPU 通过 NVLink 和 NVSwitch 连接时,worker 可以使用 NVIDIA 的高带宽 GPU 互连。否则,同节点 GPU 通信可能经过 Peripheral Component Interconnect Express(PCIe)连接。
- 同一机架内的不同节点:worker 通过高速网络 fabric 通信。跨节点流量经由 PCIe 到达网络接口再返回,存在中等延迟。
- 不同机架:这是延迟最高的选项。worker 通过集群的 InfiniBand fabric 通信,这是路径中带宽最低的一跳,并在跨节点 PCIe 路径之上进一步增加延迟。
不同工作负载对延迟的容忍度不同。在由大量 worker 组成的预训练作业中,每一步都会阻塞,直到最慢的 worker 完成其在该步集合通信中的份额。这里的任何跨机架延迟都会迅速累积,降低有效 GPU 利用率。小型微调作业涉及的 worker 更少、交换的梯度更小,因此同样的跨机架惩罚在每一步总时间中所占比例要小得多。
如果没有拓扑感知能力,Kubernetes 调度器会将 worker 放置到任意符合条件的节点上,而不考虑它们在集群中的物理关系。gang 会集结,训练作业会运行,但通信开销——而非计算——会消耗每一步的相当大一部分时间。作业完成得更慢,成本也高于硬件本应要求的水平。关键在于,基础设施指标无法反映这种低效,因为它们衡量的是活动,而非生产力。从基础设施角度看一切正常,但训练吞吐量相对于硬件本应达到的水平仍然很低。
Kueue 通过拓扑感知放置弥补了部分差距。它根据应用于节点的拓扑标签(例如 topology.kubernetes.io/rack),将节点划分为域——block、rack 和 host。Kueue 将作业的 Pod 放置在满足其带宽需求的单个域内。但 Kueue 不会自行发现集群拓扑。定义每个域的标签必须先应用到节点上,通常由集群管理员或云提供商的拓扑标签器完成。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。