
ViT-H/14 训练协调内存占用从 30GB 降至 9.6GB
来源标题:We brought ViT-H coordination below a 16 GB memory budget
通过改变模型状态的持有、保存和释放方式,ViT-H/14 协调进程的峰值内存从近 30GB 降至 9.6GB。关键原因是聚合代码中的引用循环导致每轮保留两份完整模型状态,此前被测试辅助工具的垃圾回收所掩盖。运行结束后 RSS 回落至约 0.7GB。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
我们让 ViT-H 的协调过程内存占用降到了 16 GB 预算以内
完整的 ViT-H/14 运行在我们的协调进程中占用了接近 30 GB 的 RAM。在改变了模型状态的持有、保存和释放方式之后,同样的工程检查峰值降到了 9.6 GB。轮次之间,内存保持平稳;运行结束后,RSS 回落到约 0.7 GB。
有意思的部分是找出还有什么东西仍然活着。减少临时副本有帮助,但聚合代码里的一个引用循环让每轮都多保留了两份完整的模型状态。我们测试辅助工具自身的垃圾回收掩盖了这个问题。一次真实运行才让剩下的问题暴露出来。
这是继我们 E1 分布式训练开销研究之后的延续,那项研究追踪了 GPU 计算之外的时间和内存成本。
模型的 fp32 权重约为 2.5 GB。协调训练还需要持久的工作状态和临时缓冲区,它们的内存占用会随阶段变化。
这些对象的生命周期各不相同。有些必须在轮次之间存活。另一些则应该在阶段一结束时就变为不可达。我们希望把协调进程控制在 16 GB 内存预算之内,并在运行结束时释放其工作内存。
这是一次针对进程 RAM 的调查。GPU 的可用内存和模型的训练内存需求是各自独立的约束。
我们在一台 AMD MI300X 云实例上检查了 ViT-H/14 的完整微调,两个软件 GPU 主机共享这张卡。每次运行三轮,batch size 为 32,每个主机每轮 20 个训练步。
协调端运行了连续的工程构建版本。基线版本在内存改动之前。后续运行测试了第一个修订版、一个分配器设置变体,以及清除了聚合命名空间的最终修订版。模型和训练设置在各个构建之间保持不变。
基线的内存每两秒从进程中采样一次。后续构建还记录了 Load、聚合、同步和保存前后的内存事件。我们比较了进程峰值、轮次之间的 RSS 以及完成后的 RSS。以下数值使用十进制 GB。
第一个修订版降低了峰值,但实时追踪显示轮次之间内存仍在攀升。这是有用的证据:降低最大的临时分配并没有解释全部问题。
最终修订版达到了预算要求,并消除了那种增长。表格保留了中间尝试,因为它们展示了我们是如何得到这个结果的。
我们减少了全尺寸副本的数量,把可以等待的状态移出 RAM,并把内存预算变成了一项显式的准入检查。
完成时,工作状态在运行中未完成的工作返回之后被释放。预算和准入检查也变得显式:预估放不下的 Load 会在占用 GPU 主机之前被拒绝。对于这次运行,预估值为 11.1 GB,高于它实际使用的 9.6 GB。
这些改动构成了一个整体。从基线到最终运行的整体下降不能只归因于最后的命名空间修复。
聚合模板定义了函数。Python 函数会保留其全局命名空间;在这个例子中,该命名空间还持有对原始模型状态和结果模型状态的引用。
这就形成了一个循环。模型对象在其阶段结束后仍可能存活,直到循环垃圾回收运行。在实时检查中,第一个修订版每轮多保留了大约两个全尺寸模型。
单元测试的副本计数器自己调用了垃圾回收。这让它的测量在统计副本数时很有用,但它也在测试观察到实时行为之前就移除了循环。
我们在聚合工作完成后清除了聚合执行命名空间,并添加了一个禁用循环回收的测试。新测试暴露了生命周期问题,而不是先把它清理掉。在最终的实时运行中,轮次之间的 RSS 保持在约 6.4–6.5 GB。
减少常驻工作集引入了额外的 I/O,在这次检查中每轮大约多花 1.6 秒。
我们还追踪了从聚合完成到同步开始的间隔。在最终运行中,两个测量间隔分别为 6.75 秒和 5.00 秒,而基线为 5.28 秒和 3.48 秒,低于本次会话采用的十秒验收目标。这个间隔是一个阶段边界,而不是整个训练轮次的时长。
因此,内存结果伴随着一个观察到的时间代价:在一个阶段边界每轮约多花 1.5 秒,换来峰值降低约 20 GB。我们如何对混合 GPU 训练进行基准测试,解释了为什么我们要分别对每个阶段计时。
最终运行记录的峰值为 9,642,319,872 字节,即 9.642 GB。它保持在设定的 16 GB 预算之内,轮次之间的 RSS 平稳,运行后的读数约为 0.7 GB。
该运行完成了全部六次主机更新和全部四次轮次间主机同步,没有发生全模型回退。这些检查覆盖了本次运行所执行的路径;训练结果质量需要单独评估。
记录的实验对每种工程配置各运行一次,两个软件主机共享一张卡。它为该设置确立了结果;更大的物理集群是另一项检查。
有用的改动是让状态生命周期变得可检查。模型大小计算告诉我们一份副本的成本。阶段级内存读数显示了有多少副本存活,以及工作集应该在何时下降。
最终配置让完整的 ViT-H 协调运行控制在了预算之内,并在之后归还了内存。它还给我们留下了一个更好的测试:一个能够暴露生命周期问题、而不是先把它回收掉的测试。
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。