亲爱的，我评判了 rollouts：你的 RL Judge 如何影响模型的推理能力

引言

信用分配（credit assignment），尤其是在使用 agentic judge 的情况下，一直是近期的热门话题，而且理应如此：如果你能从已经付费的同一批 rollouts 中获得更多学习信号，何乐而不为？我对此抱有几个假设，已经琢磨了一段时间，趁着我的算力资助即将到期，我决定冲刺一把，把它们真正测试出来。 这篇博客试图回答的问题是：在使用 agentic judge 的情况下，我们能否期望 RL 教会模型良好且高效的推理，而不仅仅是正确的结果？

假设与背景

LLM 的 RL 后训练多年来从基于价值函数和 critic 的方法，演变为 largely critic-free 的方法，例如 GRPO，这使得 RL 扩展达到了前所未有的高度，并取得了巨大成功。但随着 RL 运行成本越来越高、优质训练数据越来越稀缺，一个问题浮现出来：我们能否从已有的 rollouts 中榨取更多价值？ 对于不了解的人来说，GRPO 是一种在 LLM 上进行 RL 的 critic-free 方法。其工作原理是：模型本身具有随机性，因此你可以针对同一个问题采样一组 rollouts，其中一些会比其他更好。GRPO 对每个 rollout 打分，将其与组平均值比较，然后推动模型靠近高于平均水平的样本、远离其余样本。实际上，它是在锐化模型已有的分布。想了解更多关于 GRPO 及其工作原理的内容，可以看我的博客这里。 这种简洁性是有代价的：GRPO 给 rollout 中的每个 token 相同的信用。你的模型可能在解数学题的过程中给你来个 Rickroll，只要最终答案正确，GRPO 就会给那个 rollout 中的每个 token 加权，无论是否相关。

<div class="fig-mount" data-src="/llm_credit_assignment_figures.html" data-fig="fig-comic"></div> 如你所见，这对学习非常不利，因为你并没有通过 outcome RL 引入正确的先验/教训，因此信用分配在 RL 领域是一个持续的研究课题。 我想测试的问题很简单：RL judge 能否给出更好的奖励——一种能让模型的思维链更好、更高效，而不仅仅是优化正确答案的奖励？ ## 方法与设置 我从数据开始。我从 [DeepScaleR](https://huggingface.co/datasets/agentica-org/DeepScaleR-Preview-Dataset) 和 [DAPO-Math-17k](https://huggingface.co/datasets/BytedTsinghua-SIA/DAPO-Math-17k) 各拉取了 3k 道题，去重后（两者重叠严重），在两个候选模型上跑了一轮 pass@4 筛选，上限 16k token：[Qwen3-4B-Thinking-2507](https://huggingface.co/Qwen/Qwen3-4B-Thinking-2507) 和 [Qwen3.5-4B](https://huggingface.co/Qwen/Qwen3.5-4B)（thinking 模式）。筛选的目的是找出具有学习信号的 prompt：GRPO 只有在模型有时做对、有时做错的情况下才能从某个 prompt 中学到东西，所以全部通过和全部失败的 prompt 都会被过滤掉。 | 模型 × 数据集 | pass@1 | pass@4 | 16k 截断 | |---|---:|---:|---:| | Qwen3-4B-Thinking-2507 × DeepScaleR | 69.1% | 75.5% | 19.5% | | Qwen3.5-4B × DeepScaleR | 42.1% | 58.2% | 51.4% | | Qwen3-4B-Thinking-2507 × DAPO | 59.6% | 69.0% | 38.3% | | Qwen3.5-4B × DAPO | 31.5% | 45.1% | 68.0% | Qwen3-4B 在这里得分更高，而 Qwen3.5 在 16k 处截断很多，主要是因为它思考的时间长得多。但 Qwen3.5 给出了多得多的具有学习信号的 prompt（在前 1.5k 道 DeepScaleR 题上为 523 对 196），而在我之前的工作中 Qwen3-4B 模型出现了严重的循环问题。所以我选择了 Qwen3.5-4B，用 32k 上限重新筛选，最终得到 975 个可用 prompt（875 个用于训练，100 个留出）。 我比较了三次运行： - **仅基于结果的 GRPO（基线）：** [Dr. GRPO](https://arxiv.org/abs/2503.20783) 风格的 advantage（奖励减去组均值，不做 std 归一化）以及 [prime-rl](https://github.com/PrimeIntellect-ai/prime-rl) 的 IPO loss，后者会丢弃概率变动超过 0.3 的 token，并对重要性比率设上限。 - **Judge 信用，λ = 0.25：** 相同设置，外加在特定 span 上的 judge 信用，设有上限，使 judge 的修正平均每 token 最多为 0.25。它是对 outcome reward 的微调，而非覆盖。 - **Judge 信用，λ = 1.0：** judge 正式上场，将其在总 advantage 中的份额从约 6% 提升到约 20%。 其他一切保持不变：40 步，每步 8 个 prompt × 8 个 rollout，响应上限 32k，rank-16 [LoRA](https://arxiv.org/abs/2106.09685)（α = 32），学习率 1e-5，温度 1.0，judge 使用 gpt-6-luna。 ### judge 如何分配信用 对于每个 rollout，judge 会收到问题、模型的完整推理轨迹、最终答案、验证器判定结果，以及参考答案和（如果存在的话）详细解答。 judge 自行选择 span。在它看到轨迹之前，我会在每一行的开头（以及长行内每约 64 个 token 处）插入像 `⟦1234⟧` 这样的标记，指向模型*原始*生成的 token id。然后 judge 挑选出重要的片段，即原始错误、依赖于这些错误的论断、真正的修正、关键进展和浪费性的循环，并将每个片段作为一个精确的 token 范围返回，附带标签、置信度和 span 内的一段引文作为证据。它不必覆盖整条轨迹：它遗漏的每个 token 都获得零信用。它还有工具：可以查看精确的 token 范围、搜索轨迹，并运行沙盒化的 Python 或符号等价性检查来验证算术，然后再判定某件事是对是错。 每个标签映射到一个分数： | 标签 | 含义 | 分数 | |---|---|---:| | 已验证修正 | 明确修复了先前的错误，且修复可验证为正确并确实被使用 | +1.00 |

（原文较长，此处译出前 6000 字，完整内容请点「打开原文」。）