TorchTitan 采用 torch_remat 做激活检查点,解决分布式训练重算难题
来源标题:Making torch_remat work in TorchTitan
TorchTitan 现已使用 torch_remat 进行激活检查点,用模型代码中的命名区域替代 aten 级 SAC 策略。分布式训练使重放前向更复杂:集合通信需单独分区,副作用和非确定性路由须在重放时固定,且缺少提前停止优化曾导致重算比存储更耗内存。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
TL;DR – TorchTitan 现在使用 torch_remat 做激活检查点(activation checkpointing)。模型代码里的命名区域取代了 aten 级别的 SAC 策略,但分布式训练让事情比“重放前向”更棘手:集合通信需要自己的区域,副作用和不确定的路由必须在重放期间固定下来,而缺失的提前停止优化甚至导致了一种情况——重算比暂存占用更多内存。
TorchTitan 现在使用 torch_remat 做激活检查点。激活检查点的思路很简单:在前向时丢弃一些 tensor,等反向需要时再重算。用更多计算换更少内存。但在分布式训练里,再跑一次前向也意味着再跑一次集合通信、再更新一次计数器(副作用)、再做一次路由决策。这篇文章讲讲我们在 Titan 里集成 torch_remat 时做的选择,以及我一路踩到的分布式坑。
先声明一下:torch_remat 不是我写的。功劳属于 Edward Yang,更早的 torch.utils.checkpoint 基础由 Jeffrey Wan 搭建。
先快速回顾一下激活检查点要解决的问题。
一个算子的反向公式经常需要它前向时的 tensor。以线性层为例,如图所示,反向需要输入 X 和 W。Autograd 通过 save_for_backward 持有这些 tensor 的引用,让它们一直存活到反向使用(图中为伪代码)。
不同算子反向需要的 tensor 不同。例如:
关于术语的说明。我会刻意用“暂存(stash)”这个词来表示让 tensor 存活到反向。在激活检查点的语境里,“save”一词有歧义:保存一个 tensor 意味着持有它、占用内存;节省内存意味着降低内存占用。这两个含义方向相反,所以在讨论省内存时“保存的激活值”会让人困惑。本文中,暂存的 tensor 指我们为后续使用而保持存活的 tensor,暂存内存指它们占用的内存。
激活检查点怎么帮忙?看一个刻意构造的例子:4 层,每层为反向暂存两个 tensor(深蓝和浅蓝)。上图没有激活检查点,每层都暂存两个 tensor。每个 tensor 在前向时分配,反向用完后释放。暂存量在整个前向过程中持续增长,所以峰值就在前向结束时。
使用激活检查点时,我们只暂存深蓝 tensor,浅蓝的重算。这是下图,灰色方块是短命分配:tensor 在前向中短暂存在,反向重算时再出现一次。峰值现在只是深蓝暂存量,加上反向开始时第一层重算产生的一个灰色方块。
PyTorch 的 torch.utils.checkpoint 支持两种常见的激活检查点方式。
SAC 用得很广,但我们收到两类常见抱怨。
# 与模型代码分离的策略。
def policy_fn(ctx, op, *args, **kwargs):
if op == torch.ops.aten.mm.default:
mm_count[ctx] += 1
return SAVE if mm_count[ctx] % 2 == 0 else RECOMPUTE
...
torch_remat 让我们在源码层面表达这个选择(而不是 SAC 里的 aten 算子)。用户直接在模型代码里通过区域来表达:
out = remat.region(
self.inner_attention,
self.remat_region_name("inner_attention"),
recompute=self.remat_should_recompute("inner_attention"),
)(q, k, v)
这里的区域有有意义的名字,TorchTitan 的配置控制它的重算策略。没有 TorchDispatchMode,所以很快。能直接在模型代码里指定哪些区域保存、哪些重算,是很大的易用性提升。
保存区域的输出。还有一个细节我花了一段时间才体会。如果我们在重放时跳过一个区域(因为它被标记为保存),它的输出仍然必须对后续算子可用。如下图所示,区域 f 被标记为保存,后面的算子被重算。所以 tensor y 必须保持存活。
在完全 AC 下,这个中间 tensor y 可能从来不需要暂存,因为没有任何反向公式需要它。但这里,我们必须为重放暂存它。torch_remat 提供 recompute_needs_tensor 来让这些 tensor 为 replay 保持存活。本质上,这是我们在重算中跳过区域必须付出的内存税。最重要的是,这些 tensor 确实计入峰值内存(后面提前停止一节会用到)。
第一个问题是区域边界放在哪里。每个算子周围?几个算子合在一起?有些算子是否应该总是重算?
我们用两个问题来指导决策:重算这个算子要花多少时间,能释放多少暂存内存?粗略地,这给出每字节的重算成本。一个便宜但持有大 tensor 的算子适合重算;一个昂贵但省不了多少内存的算子适合暂存。据此,我们列出了一组总是重算很便宜的算子(如 residual_add),从不为它们建区域。
local_compile(Felipe Mello 和 Jessica Zhong)也影响了这些选择。有些看起来处于边界的算子,比如 norm,编译后变得足够便宜,我们干脆让它重算。
这给了我们计算算子的起点。但分布式训练里的线性层还包括集合通信,这些需要更仔细地看。
集合通信会改变 tensor 的布局,所以内存成本取决于我们在哪一侧暂存。如图所示,张量并行给了我们两个有用的例子。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。