返回资讯中心
外部精选
软件工程
#开发者实时流

研究重提进化策略:长程智能体后训练可绕开信用分配难题

来源标题:Forget about credit assignment in long-horizon agentic post-training

一项博客文章主张在长程智能体后训练中重新采用进化策略(ES)这类零阶方法,以绕开策略梯度 RL 的信用分配、训练不稳定和超参数敏感等问题。文章指出,ES 实现简单、易于并行,近期已被证明可用于十亿参数级模型微调,性能与 SOTA 策略梯度方法相当,但样本效率有时偏低。

Hacker News 最新bilsbie2026/11/5 · 12 天前30 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

重新审视智能体时代的后训练算法

进化策略(Evolution Strategies,ES)是一种可扩展的零阶方法,可作为策略梯度(policy-gradient,PG)强化学习在智能体后训练中的替代方案:极其简单、并行化程度高得令人难以置信、无需信用分配、无需critic或掩码工程。我们认为,是时候重新审视零阶方法在长时程智能体后训练中的应用了。

时尚是一个轮回;零阶(权重空间)方法正在卷土重来。有时候,简单的方法就是管用,而且效果出奇地好(这又是一个苦涩的教训)。基于策略梯度的方法(PG)如GRPO一直主导着RL微调,但它们在长智能体任务上举步维艰,面临诸多问题,比如长rollout上的信用分配、训练不稳定性、对超参数的敏感性等。最近,ES已被证明可用于十亿参数级别模型的微调,并且其性能已被证明与SOTA的PG方法相当。但如果性能大致相似,那么这类零阶方法的关键优势究竟是什么就不太清楚了,尤其是考虑到在某些情况下它们的样本效率可能更低。

在这篇博文中,我们重新审视ES与PG之间由来已久的比较,特别是从它们的探索货币(权重空间探索 vs. 动作空间探索)以及梯度估计方差之间的权衡这两个角度,来确定在哪种情形下一种方法会超越另一种。先不急着下结论,但事实上ES在长时程任务微调方面确实具有许多理想的特性。我们基于以下观察展开讨论:

接下来我们拆解理论并给出具体结果来支持这一论点。

让我们从重新审视算法开始,以获得ES和PG背后的一些理论直觉。假设你有一个底层的奖励景观(reward landscape),你想在其上爬山。奖励景观是崎岖不平的,你有两种可行的选项来近似梯度(或一般而言能提升奖励的方向;不必是精确的梯度),如图1所示:

图1:参数空间探索 vs. 动作空间探索。(a) 一个崎岖的奖励景观 J(θ)J(\theta)J(θ)。(b) ES扰动权重,相当于在一个高斯平滑后的景观 JσJ_\sigmaJσ​ 上爬山(σ过大则过度平滑)。(c) PG保持权重固定并采样动作,在固定θ下给出带噪声的回报。

1)进化策略(ES):你对权重进行N次扰动(各向同性高斯噪声,满秩或低秩),形成一个“种群”,计算每个扰动候选对应的奖励,并按结果奖励对扰动进行加权平均,形成一个更新步(梯度的估计)。以下是数学公式:

其中θ是模型权重,σ是扰动尺度,R(θ+σεi)R(\theta + \sigma\varepsilon_i)R(θ+σεi​)是第i个扰动模型的结果奖励。

2)策略梯度(PG):你采样一条轨迹(或一批轨迹),计算输出token对数概率的梯度,并用其优势(advantage)加权。以下是数学公式:

其中aja_jaj​是从当前策略πθ\pi_\thetaπθ​采样的第j条轨迹(权重保持不变),G是采样的轨迹数,T是生成的token数,A^j,t\hat A_{j,t}A^j,t​是轨迹j中token t的优势。在使用结果奖励时(例如GRPO),轨迹中的每个token获得相同的优势,即该轨迹的奖励减去组平均奖励(GRPO还会除以组的标准差)。

现在,如果你把两种方法都视为对某个底层真实梯度g∗g^*g∗的估计器(见下文),且它们在期望上收敛(为了进一步分析,我们暂且接受这一近似),那么大部分工作就转移到分析这两个估计器的方差上。特别地,我们感兴趣的是这两种方差如何随任务的不同属性而缩放。

​g∗,E[g^​PG​]=g∗

其中J(θ)J(\theta)J(θ)是期望奖励,JσJ_\sigmaJσ​是其高斯平滑版本(图1b)。

如果被视为梯度估计器,这些方法的方差本质上决定了学习方法的样本效率/收敛速度。这关乎学习方法的信噪比。假设两种方法都能达到相同的最优点(暂且这样假设,但实际上通常并不成立哈哈),方差决定了哪种方法更便宜。

图2:朴素的诅咒。(a) ES方差随参数数量D线性增长。(b) PG方差随生成token数T线性增长。(c) 对于像LLM这样的类别策略,PG的逐token噪声(score energy κ)无论词表大小如何都保持在1以下,但对于连续动作,它会随动作维度增长。

朴素地看,ES方差随参数数量增长,PG方差随序列长度增长(图2):

说白了,ES预计会遭受维度灾难,而PG则遭受时程灾难。然而,在实践中,情况更为微妙。事实上,只有沿改变奖励的方向注入的噪声才会减缓学习,因此这两种成本都会缩减为有效计数。

此前,人们长期以来认为,由于维度灾难,ES不可能用于十亿参数级别的LLM调优。然而,ES at Scale以及一系列后续工作(Sarkar et al., 2026; Liang et al., 2026; Schweighofer et al., 2026; Gan et al., 2026)已经证明这并非事实。确实,这些工作中的许多都指向一个现实:LLM微调出奇地简单且低维,实际上许多方法都能奏效。所以对维度灾难的担忧可以抛到门外了,太好了!

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →