
Photoroom用SkyPilot统一Slurm和Kubernetes集群,每周利用1000闲置GPU小时
来源标题:How SkyPilot on Slurm and Kubernetes put 1k idle GPU hours a week to work
Photoroom通过SkyPilot将Slurm和Kubernetes上的GPU集群统一到一个平台,使研究人员无需工程师介入即可使用全部GPU资源。仅10月,研究人员每周就在原本闲置的推理GPU上使用了约1000 GPU小时。工作负载还可按需溢出到多家供应商的GPU,无需采购或额外配置。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
今天在 Photoroom,一个研究员配上一个 agent,就能用上我们所有的 GPU,完全不需要工程师花时间搞基础设施。典型的一天是这样的:agent 先在我们本地的 RTX 3090 或 RTX 6000 Ada GPU 上准备数据集,靠近本地数据缓存。然后在 128 张 H200 上启动扩散模型训练,InfiniBand 让多节点训练变得很快。到了傍晚,它会在空闲的推理 GPU 上评估一些 checkpoint,并把 demo 分享给产品团队。当团队 GPU 不够用,或者想试试新卡时,工作负载可以迅速溢出到多家供应商的按需 GPU 上,不用采购,也不用重新配置。仅十月一个月,我们的研究员每周就在原本非高峰时段闲置的推理 GPU 上用了约 1,000 GPU 小时。这就是 SkyPilot [1] 带给我们的。SkyPilot 把我们的 GPU 集群统一到了一个平台上。研究员现在花在基础设施上的时间更少,花在模型上的时间更多。工程师不再需要做艰难的取舍:我们可以保持灵活,随时接入接下来任何合适的 GPU,而不必押注于某一种技术栈,也不用承担随之而来的所有工作。而我们的主训练集群则保持空闲,留给真正需要它的大型训练任务。如今 GPU 依然很难拿到,我们能用的每一个小时都很重要。为了解释这件事为什么对我们如此重要,让我先回顾一下。几年前我刚加入 Photoroom 时,我们的 GPU 是散落在办公室各处的 workstation,Slack 里满是“节点 X 空闲吗?”和“我能杀掉节点 Y 上的这个任务吗?”。后来我们迁移到了 Slurm,有了机架式服务器机房和共享数据工作区。再后来,我们的主要训练算力迁到了云端,是一个用 Slurm 管理的 H200 InfiniBand 集群。在生产侧,我们的基础设施团队在几个月内把推理从手工管理的 VM 迁移到了多供应商的 Kubernetes 集群。结果我们的 GPU 又一次分散了,这次是分散在不同的集群和调度器之间,而不是分散在办公桌上。而现在 agent 启动的任务比以往任何时候都多,我们需要一个统一的入口来访问所有这些资源。在这篇文章里,我们分享研究员现在能从一个 prompt 做什么、我们为什么选择 SkyPilot、我们如何搭建它、初步结果,以及一路上学到的东西。agent 时代的 GPU 任务部署 研究员现在把越来越多的工作交给 agent:部署工作负载、读取结果、迭代方案。agent 会并行运行大量实验,一个下午就能轻松启动五十个任务。这正是基础设施可能成为瓶颈的地方。出于日常习惯,也为了保持速度,所有人都连接我们的主训练集群。大部分工作都落在那里,而其他 GPU 却闲着,需要 InfiniBand 的大型训练任务反而失去容量。要让 agent 能把工作卸载到任何地方,我们的训练和开发基础设施就需要一个通往所有可用算力的统一入口:一个 API,处处相同的规则,以及 agent 永远不需要看到的凭证。让整个团队更上一层楼的 ML 计算基础设施 在 Photoroom,ML 研究员不应该需要关心他们的任务跑在什么基础设施上。他们的时间只属于一件事:交付有价值、最终到达用户手中的自研模型。我们的 ML 工程团队负责交付背后的大部分工程工作,但训练模型本身就已经伴随着大量工程工作,其中不可忽视的一部分就是基础设施。任何在自定义数据上训练过模型、跨多张 GPU 分布式训练的人都很清楚这一点。这一点尤其重要,因为我们的团队是“ML 全栈”。我们自己准备数据集,训练自己的模型系列(例如 PRX Pixel [2]),但我们也自己托管和生产服务(参见我们如何构建多供应商推理后端 [3]),跑在我们自己管理的 GPU 上。这需要异构的基础设施:工程师需要有空间做基础设施和优化,研究员需要有空间做训练。我们的目标是向使用者隐藏这种混合集群。它必须保持成本高效,并且绝不能拖慢工作。事实上,所有人共享同一批 GPU,因此不该有人需要等待,也不该有人需要从别人那里抢算力。每个团队仍然用自己的调度器管理自己的集群:Photoroom ML 团队负责研发,基础设施团队负责生产。作为用户,你看不到这些:你以同样的方式申请 GPU,从任何一台笔记本或从一个 service account,这就是我们所说的通往每一块 GPU 的门。SkyPilot 就在这里发挥作用。你选择想要的 GPU,SkyPilot 处理其余的一切,无论这些机器跑的是 Slurm、Kubernetes,还是只能通过 SSH 访问。在生产 GPU 上,研究任务只在用户流量让它们空闲时才运行。ML 研究员现在能从一个 prompt 做什么 ML 工程团队构建了一套 skills 和一套以 SkyPilot 为核心的配置,在全公司解锁了多个用例。SkyPilot 现在为我们用来处理数据、启动训练、部署 demo 和一些预生产端点的 skills 提供支持,它们甚至可以在 Slack 里使用。下面是它在日常中、跨越三种非常不同的任务时的样子。一切从一个 task 文件开始。它描述任务需要什么,而不是在哪里运行:name: caption-shard resources: accelerators: H100:1 setup: | uv sync run: | python caption.py --shard 0 同一个文件随后可以在任何地方运行,只需要改变目标:sky jobs launch task.yaml --infra slurm/on-prem # 我们的本地 GPU,通过 Slurm sky jobs launch task.yaml --infra k8s/inference # 空闲的推理 GPU,通过 Kubernetes
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。