研究团队发布RLCR训练方法，用于训练AI智能体集群

Agent swarm 最近几个月火了一把。9 月，OpenAI 用 swarm 在 88 小时内为 Navier–Stokes 千禧年大奖难题给出了一个解。1,2 Swarm 也引发过一些引人注目的安全事件，比如 Hugging Face 事件——agent 们通过一个未授权的留言板协同发起了一次网络攻击。3,4 尽管 swarm 声名鹊起，但关于如何用强化学习训练 swarm 的公开研究却寥寥无几。

Swarm 是“agent 集体”（agent collective）的一种，即多个 agent 围绕一个共同目标协作的 AI 系统。最近，我们公开了一套训练 agent 集体的方法，叫做“集体奖励强化学习”（reinforcement learning from collective rewards，RLCR）。5 它采用一个简单的核心策略梯度算法，所有 agent 共享同一个策略、应用统一的集体优势值，并通过时间限制施加延迟压力来激励协作。

我们研究计划的一个核心目标是实现集体推理时扩展（collective inference-time scaling），即 agent 并行完成的有用工作量以及为实现这些工作所需的通信量都能随规模扩展。一个设计良好的强化学习设置应当奖励更快完成工作，从而激励使用并行推理算力。而如果底层工作无法完美并行化，agent 就应当从相互通信、协调工作中获益。

集体推理时扩展可以看作是对推理范式在延迟约束或惩罚下的一种扩展。但与推理模型不同的是，强化集体行为的路径是间接的。任务奖励中并没有任何显式内容去激励并行工作，因此必须通过让更快的工作获得更高回报来激励并行。

本文将解释如何为并行工作设计激励，包括我们在 RLCR 方法中采用的做法。但首先，我们会以现有的推理范式为例，讨论强化学习激励设计的一般话题。

推理范式表明，强化学习（RL）可以激励策略在回答之前使用更多的推理算力。模型学会了检查自己的工作、回溯以及考虑替代方案，这些都是提升预期回报的有效策略。6,7

这种方法特别优雅的地方在于，激励策略“思考更久”所需的人工设计很少——前提是你有正确的 RL 设置。在 RL 过程中，策略可以探索不同的答题方式，而那些使用了检查工作和考虑替代方案等策略的 rollout 平均表现会更好。

这引出了 OpenAI 发布 o1 模型时那张著名的图，展示了训练时算力与测试时算力之间的对应关系：

后来 DeepSeek-R1 的图也反映了同样的现象，显示响应长度在训练过程中随准确率一起增长：7

响应平均长度 05k10k15k20k02k4k6k8k10k训练步数

这就是推理模型的推理时扩展模式——模型学会在回答前思考更多。

较少被认识到的是，朴素的强化学习设置并不保证能获得这种扩展模式。因此，如何在 RL 设置中设计激励以学到正确的行为，确实至关重要。

例如，超参数选择不当可能会过度惩罚推理长度，阻碍推理时扩展。如果你几年前使用标准的 PPO 方法，且 γ<1\gamma<1γ<1 和/或 λ<1\lambda<1λ<1，你很可能看不到这种扩展模式。DeepSeek-R1 之后不久，Open-Reasoner-Zero8 等工作就证明了这一点：

训练奖励 0.00.20.40.60.8050100150200训练步数

决定成功的另一个因素是底层先验的强度，具体来说就是拥有足够强的基座模型来启动学习。接触高质量数学数据较少的较弱基座模型，探索和强化有用推理时策略的能力也更弱。OpenAI 率先摸索出核心方法并对这一研究方向抱有信念，值得高度肯定，但他们也占据了有利位置——在所有人之前就拥有了 GPT-4 级别的基座模型。

所以，强化学习设置对于激励正确行为至关重要。

这就引出了当下——模型正被用于执行长周期任务。推理模型在解决语言模型的许多可靠性问题方面非常成功，但其顺序执行的特性意味着它们面临高延迟。这使得它们在长周期任务上问题突出。

并行推理方法的前景在于，它们可以拆分工作，更快地完成长周期任务。agent 集体中的单个 agent 可能仍然采用顺序推理，但整体来看，集体可以并行化工作，避免顺序瓶颈。

那么，如何激励策略并行化工作呢？

下图展示了一种顺序使用推理算力的方式，与没有通信的朴素并行方法，以及 agent 可以通信的 agent 集体方法之间的对比：

Agent 答案 独立尝试，然后选择，耗时 28 分钟 尝试 1 尝试 2 尝试 3 尝试 4 选择 答案 一个通信型组织，耗时 46 分钟 CEO 调查员 构建者 测试者 答案 0255075100 分钟 已用时间

假设所有方法都能得到可接受的答案，我们倾向于选择延迟最低的方法。当独立尝试就足够时，通信可能只是增加不必要的开销。当任务无法完美并行化时——即 agent 需要共享中间结果或整合互补工作时——协调才变得有价值。

（原文较长，此处译出前 6000 字，完整内容请点「打开原文」。）