UC Berkeley 研究团队探讨异步 RL 中除分数中心化外还能优化什么
来源标题:Beyond Score Centering: What Else Can We Optimize in Async RL?
UC Berkeley 的 Qiuyang Mang 与 Yichuan Wang 研究异步强化学习,发现不用 SC(score centering)时,轨迹的策略梯度范数随其策略年龄大致线性增长,而 SC 能抑制这一趋势。这意味着越旧的轨迹反而越主导梯度更新,与各 token 应主要按优势值平等影响的原理相悖。作者据此讨论了陈旧数据带来的偏差问题。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
邱洋*, 王亦川**同等贡献 · UC Berkeley
首先,约定一些记号。在异步 RL 中,采样器 (\mu) 与训练器 (\pi) 是解耦的:采样器用它当前持有的权重生成轨迹,训练器则在这些数据上执行优化器步进,同时持续更新。若一条轨迹在第 (k) 步到达训练器,且是由 (\mu = \pi_{\theta_{k-\mathrm{a}}}) 采样的,我们就说它的策略年龄为 (\mathrm{a}),即训练器此刻正在用 (\mathrm{a}) 步之前的策略所产生的数据计算梯度。
与其从理论和记号讲起,不如先看看不同年龄的轨迹到达训练器时会发生什么。一个有趣的发现是:在没有 SC 的情况下,一条轨迹的策略梯度范数大致随其年龄线性增长;而在有 SC 时,这一趋势被很好地抑制了。
前者显然很糟糕。原则上,一个 token 对策略更新的影响应当大致只取决于它的优势值,除此之外应被同等对待;在某些设定下,人们甚至可能希望削弱非常老的轨迹的影响。然而这里恰恰相反:轨迹越老,它在梯度更新中占的比重越大。我们稍后会讨论陈旧轨迹引入的偏差,但仅从训练稳定性的角度看,不同样本之间梯度范数的巨大差异就足以让训练失稳。
上图自然引出两个问题:为什么没有 SC 时梯度会随年龄线性增长?SC 又是如何把这条线压平的?为回答这两个问题,我们回到策略梯度本身。在 on-policy 下,目标函数的梯度为 [ \nabla J = \mathbb{E}{a\sim\pi}\big[A,\nabla\log\pi(a)\big]. ] 在异步设定下,样本来自采样器 (\mu),训练器实际计算的是 [ \mathbb{E}{a\sim\mu}\big[A,\nabla\log\pi(a)\big]. ] 为便于看清这一点,我们在单个 token 的 logit 空间中展开。记 (e_a) 为 (a) 的 one-hot 向量,(p = \pi_{\theta_k}(\cdot\mid s))。在 softmax 下,(\nabla_z\log\pi(a) = e_a - p),因此对单个被采样的 token,PG 梯度为 [ g_{\mathrm{PG}} = A,(e_a - p). ] 但 (a) 是由采样器抽取的,所以我们要在采样器分布下取期望,且 (A) 在期望内部。记 (q = \mu(\cdot\mid s)),注意 (\mathbb{E}{a\sim\mu}[e_a] = q)。于是 [ \mathbb{E}{a\sim\mu}\big[A,(e_a - p)\big] = \underbrace{\mathbb{E}{a\sim\mu}\big[A,(e_a - q)\big]}{\text{signal}} ;+; \underbrace{\mathbb{E}{a\sim\mu}[A],(q - p)}{\text{drift}} . ] signal 项不依赖于两个策略之间的差距,而 drift 项的范数则随该差距线性增长。差距本身又大致随年龄线性增长:训练器每步都让策略沿大致相同的方向移动约 (\delta),因此在年龄为 (\mathrm{a}) 时 [ \lVert q - p\rVert \approx \mathrm{a},\lVert\delta\rVert , ] drift 项便随 (\mathrm{a}) 线性增长。即便训练器做的是随机游走,差距仍会以 (\sqrt{\mathrm{a}}) 的速度增长,这已足以破坏训练稳定性。这就解释了我们观察到的现象。
值得补充的是,正如若干早前博客所指出的(例如这一篇),策略梯度的 drift 项映射回目标函数后,会给正在被最大化的 on-policy 目标增添一项: [ -A,D_{\mathrm{KL}}(\mu|\pi) ] 至此,我们从训练稳定性的角度论证了应移除 drift。另一种解读是:它相当于给训练器强加了一个强度不受我们控制的 KL 损失,这并非一个理想的目标;我们稍后会再回到这一点。
这一形式也恢复了 on-policy 版本的一些良好性质,例如减去一个常数 baseline 不改变期望策略梯度;这里不再赘述。1
1 对常数 baseline (c),(\mathbb{E}{a\sim\mu}\big[c,(e_a - q)\big] = c,(q - q) = 0),因此减去它不改变期望 SC 梯度;若不进行 centering,则 (\mathbb{E}{a\sim\mu}\big[c,(e_a - p)\big] = c,(q - p) \neq 0)。更完整的推导见这些幻灯片。
基于这一动机,SC 所做的就是移除 drift 项:在策略梯度空间中减去 [ \mathbb{E}{a\sim\mu}[A],\mathbb{E}{a\sim\mu}[\nabla\log\pi(a)] , ] 而 SC 下的梯度范数与年龄没有明显相关性,也就顺理成章了。
经过 SC 之后,on-policy 真正想要的梯度与我们实际计算的梯度分别为 [ g_{\mathrm{PG}} = \mathbb{E}{a\sim\pi}\big[A,(e_a - p)\big], \quad g{\mathrm{SC}} = \mathbb{E}_{a\sim\mu}\big[A,(e_a - q)\big]. ] 二者背后的 Jacobian 相同,因此它们的差异只取决于 (p) 与 (q) 之间的差距(token 层面)以及 (\pi) 与 (\mu) 之间的差距(策略层面)。
这表明,任何从 (\mu) 与 (\pi) 之间差距出发的方法,都可能是在 SC 基础上进一步改进的好途径。
那么什么不是好方法?我们怀疑,是 SC 与重要性采样(IS)的结合。
先做 SC 再做 IS 显然不对。忽略截断,单个 token 的梯度为 (\tfrac{p(a)}{q(a)},A,(e_a - q))。在采样器分布下取期望,IS 比率首先把分布拉回 (\pi): [ \mathbb{E}{a\sim\mu}\Big[\tfrac{p(a)}{q(a)},A,(e_a - q)\Big] = \underbrace{\mathbb{E}{a\sim\pi}\big[A,(e_a - p)\big]}{\text{on-policy}} ;+; \underbrace{\mathbb{E}{a\sim\pi}[A],(p - q)}_{\text{new drift}} . ] 这对缩小 (p) 与 (q) 之间的差距毫无帮助,反而引入了新的 drift。
那如果按原论文所述,先做 IS 再做 SC——即用 IS 把分布移回 on-policy,再施加 SC——会怎样?在没有截断且 IS 精确的情况下,这毫无意义。经过 IS 后,期望已经在 (\pi) 之下,而 score 在 (\pi) 下以 (p) 为中心, [ \mathbb{E}{a\sim\mu}\Big[\tfrac{p(a)}{q(a)},A,(e_a - p)\Big] = \mathbb{E}{a\sim\pi}\big[A,(e_a - p)\big], ] 因此 SC 什么也没做:它要减去的项在 (\pi) 下的期望已经为零。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。