返回资讯中心
外部精选
软件工程
#开发者实时流

TPU上实现训练与推理比特级零偏差的稳定在线策略强化学习

来源标题:Unlocking Stable On-Policy RL on TPU with Bitwise-Zero Train–Inference Mismatch

研究团队解决了大语言模型强化学习中采样器与训练器因执行路径不同而产生的隐藏离策略偏差问题,在TPU上实现了比特级零训练-推理不匹配。该偏差源于增量解码与批量前向传播对同一token计算出不同logprob,会随训练累积并破坏稳定性。方法确保采样与训练对策略的数值评估完全一致。

Hacker News 最新gmays2026/11/18 · 今天23 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

为大型语言模型做强化学习(RL)时,数值不稳定性是出了名的敏感问题:即使 rollout 生成与梯度更新之间存在极微小的差异,也可能让训练失稳或收敛停滞。在 LLM RL 中,模型本身就是策略 π(action | previous tokens),而真正的 on-policy 学习要求一次更新中的每个 action 都由完全相同的策略生成并评估。同步循环虽然能保证每个 rollout batch 都使用生成它的同一份权重来打分,但仍有一个关键的数值要求:采样器和训练器必须以完全相同的方式评估该策略。

在实践中,生产级 RL 系统会通过各自独立、专门化的执行路径来运行采样和训练。采样器在增量解码过程中逐个选择 action token,并记录其行为 logprob。训练器则在批量前向-反向传播中评估同一个 token,计算其当前 logprob 和梯度。即便权重相同,这些不同的执行路径仍可能为同一个 token 和上下文赋予不同的 logprob。训练调度是 on-policy 的,但数值执行却引入了一个隐藏的 off-policy 差距,并会在多轮轨迹中不断累积。

我们在 Tunix 中开发、并在 64 块 TPU v5p 芯片(DP8×TP8)的多主机规模上验证的零训练-推理失配(Zero-TIM)实现,消除了这一数值差距。在权重相同的情况下,采样器和训练器对同一个 action 和 token 历史赋予逐位完全相同的 logprob——从而为 TPU RL 训练带来最先进的、真正的 on-policy 稳定性。

归约操作本质上是一棵浮点加法树。浮点加法不满足结合律,因此改变树的结构就会改变舍入发生的位置。这一效应在 bfloat16 中更容易暴露,因为它的精度低于 float32。

下面这个 bfloat16 示例单独展示了归约顺序的影响:

同样的问题也出现在模型的各种归约中:矩阵乘法累加部分和,归一化计算统计量,张量并行分片合并部分输出。在我们最初的系统中,采样器解码和训练器前向使用了不同的 token 数组形状和前向实现。JAX 会针对输入形状特化计算,而训练前向还运行在一个可微分程序内部。

在这些路径之间,归约顺序和中间精度并未保持一致对齐。浮点舍入把这些算术差异变成了不同的 logprob 位。权重和模型方程完全相同,但算术过程不同。

约定很简单:在采样器解码、serving prefill 和训练器前向这三条路径之间,对于每个被采样的 action,三者必须产生逐位完全相同的 logprob——即在相同的 rollout 权重、token 历史和采样设置下比较原始浮点字节,零舍入、零容差。

为什么是三条路径而不是两条?在解耦的 RL 系统中,采样器与训练器直接不一致只能说明存在数值差距,却无法定位差距从何处引入。引入 serving prefill 作为中间检查点,可以把对齐变成一套系统化的两步诊断方法,任何 RL 系统都可以采用:

采样器解码 vs. prefill 验证 serving 引擎在增量 token 生成与全序列重打分之间是否自洽,而 prefill vs. 训练器则验证 serving 引擎与训练引擎在编译和微分边界两侧是否一致。

实现 Zero-TIM 并不需要把采样器和训练器合并成单一单体引擎。相反,我们使用一套可推广的四部分方案,在多主机 TPU mesh 上桥接分离的 serving 和训练流水线:锁定分片内 kernel 累加、规定跨分片归约顺序、标准化 logprob 打分尾部,以及用自定义微分规则包装 serving kernel。

在每个张量并行 rank 内部,batch-invariant 的 Pallas kernel 控制累加顺序和中间精度。投影 kernel 按固定顺序遍历收缩块,使归约分块方式与 token 行数无关。部分乘积以 float32 累加,并显式转换输出。

生产 kernel 在 tile 遍历之前初始化其暂存累加器,然后对每个 tile 应用以下核心逻辑: input_tile = x_ref[...] weight_tile = y_ref[...] partial = jnp.dot( input_tile, weight_tile, preferred_element_type=jnp.float32, ) acc_ref[...] = acc_ref[...] + partial out_ref[...] = acc_ref[...].astype(out_ref.dtype) Python Copied 下一个 tile 从 float32 累加器继续,而不是从转换后的输出继续。这一构造覆盖了 attention 和 MLP 投影以及 LM head。专用 kernel 固定了 RMSNorm 归约和 SwiGLU 的中间类型转换。现有的 Pallas paged-attention 前向被保留。

对于行并行投影,每个张量并行 rank 产生一个部分输出。我们将通信与加法分离:ppermute 负责传输部分结果,然后每个 rank 按相同的源 rank 顺序将它们相加。

归约顺序在程序中是显式的,而不是由集合通信实现来选择。

对齐必须延伸到模型 logits 之外,直到被采样 action 的概率。解码、prefill 和训练器应用一致的采样变换,使用相同的固定 Pallas log-softmax 构造,并选择记录下来的 action token。

Prefill 和训练器对 rollout 期间生成的 action 打分,而不是另选一个 action。我们还会在环境轮次之间保留被采样的 token ID,以便每条路径都评估相同的 token 历史。

训练器复用 serving prefill 的计算。自定义向量-雅可比积保留 serving kernel 用于前向评估,并提供其反向规则。下面这个 matmul 示例展示了这种分离: def serving_matmul(inputs, weights): return pallas_matmul(inputs, weights) def matmul_forward(inputs, weights): output = pallas_matmul(inputs, weights) return output, (inputs, weights)

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →