开发者尝试连接全球GPU资源,构建自动化跨云调度系统
来源标题:I tried to connect every GPU on the planet together (kinda)
一位开发者尝试将不同云平台的GPU资源自动整合调度,以解决闲置浪费和切换繁琐的问题。由于许多平台限制FUSE等文件系统接口,他自建了LISAFS适配器,通过小文件打包传输、按需拉取文件区间和Rust存储引擎复用缓存块,使同步性能超过常规网络文件系统。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
如今,除非你要从头训练一个前沿模型,否则在一些云平台上找到用于训练和后训练的闲置 GPU 容量并不难。但很多时候,我就是懒得迁移自己的工作,甚至连注册流程都懒得走,还要应付各种限制、区域之类乱七八糟的东西。所以我花了不少冤枉钱,要么让 GPU 闲置着,要么赌一把暂停的实例,祈祷再次需要时那个节点还在(通常都不行)。于是就有了我尝试自动化这个过程的一段经历,它比你想象的要难得多。
- 共享文件系统
“挂个网络文件系统就行了嘛……这还用说。”呃,没那么快。很多提供商有各种莫名其妙的限制和沙箱化的计算环境;比如我测试的 RunPod 容器就没有暴露 FUSE。要做一个通用方案,我需要另一种办法。
我写了一个自定义的 LISAFS 适配器,经过数月打磨,通过巧妙的同步策略,它的性能甚至超过了网络文件系统:把小文件打包成更少的传输批次、按需获取文件区间,并用一个基于 Rust 的存储引擎来复用已缓存的内容寻址块,而不是复制整个文件。这个系统的效率高得离谱——你把笔记本上一个未压缩的 3GB、5 万个文件的构建目录传到云端文件系统,比通过有线连接把同一个目录传到三星 T5 SSD 上还要快(很疯狂吧?!)
一旦机器能高效地共享文件系统,它们也就能协作了。想象一下:一台 TPU 运行着 JAX 教师模型,发布训练目标,而另一家提供商的 GPU 用这些目标来训练一个 PyTorch 学生模型。效果简直像魔法一样。
- 虚拟集群
把分散的 GPU/TPU 启动到同一个工作区里,在很多场景下都特别好用——在它变得容易之前,我甚至都没意识到这些场景是可能的。
把这个抽象再推进一步,我(借助约 5 万美元的研究智能体)创建了一个新库,用来跨不同提供商的算力优化许多核心训练功能。我的算力来自哪里已经不重要了;它可以在底层自动运行分布式工作负载,用起来却像一台单机。
这里补充几点:规划把机器放在哪些区域——甚至跨不同提供商——是极其重要的。在一个 27B 参数 LLM 的后训练实验中,分布式训练仍然没能追平单集群训练的验证损失,但已经非常接近了——差距约 0.2%,同时成本便宜 2.3 倍。
顺便说一句,这就是我在 meshia.io 做的东西——来看看吧 :) 我是一个人的团队,非常欢迎反馈,所以请告诉我你的想法,或者对这件事有任何问题都可以问我!
评论 URL:https://news.ycombinator.com/item?id=50394231 点数:1 评论数:0
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。