返回资讯中心
外部精选
软件工程
#开发者实时流

研究者提出 population serving 方法,让已部署模型用推理算力持续学习

来源标题:Learning Continually from Inference Compute

研究者提出一种名为 population serving 的新推理范式,让已部署模型能利用其服务用户时消耗的推理算力持续学习。具体做法是同时服务同一模型的 N 个扰动版本,根据各版本收到的真实流量打分,并定期将扰动合并,从而实现边推理边学习,无需额外训练算力。该方法旨在让部署阶段产生的经验直接反哺模型,而不只是用于下一代模型的训练。

Hacker News 最新matt_d2026/11/12 · 5 天前30 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

一个已部署的模型可以利用它已经在使用的推理算力持续学习。我们提出一种新的推理范式,称为群体服务(population serving):不再向每个用户提供完全相同的权重,而是提供共同模型的 (N) 个扰动版本构成的群体,根据每个扰动版本接收到的真实流量为其打分,并定期将这些扰动版本合并,从而仅使用服务该模型所用的推理算力,在推理过程中持续学习。

已部署的模型每天与数百万用户交互,产生大量数据并消耗可观的推理算力。目前,这些经验被间接用于改进模型:部署数据被用于后续几代模型的预训练和后训练,并且围绕使用中遇到的情况构建训练环境。部署带来的经验被复用了,但生成这些经验所消耗的算力却没有被复用。因此我们问:如何利用部署期间花费的、不断增多的推理算力来改进模型?

一个显而易见的方案是在部署期间使用当前基于反向传播的训练栈。然而,这立刻带来一个问题:反向传播需要在推理期间存储激活并计算梯度,使推理变得更加昂贵。在我们如今所处的算力受限世界中,对 AI 的需求不断增长而算力不足以支撑,部署期间的学习不能以让推理更昂贵为代价。从实践角度看,这让我们清楚一件事:目前,模型在部署期间的学习无法通过基于梯度的学习算法实现。

因此我们转向无梯度优化方法寻求解决方案,特别是进化策略(Evolution Strategies, ES),最近已有研究表明它对微调 LLM 有效(Qiu et al., 2026)。ES 之所以有吸引力,是因为它可以仅从模型为回答用户请求已经执行的前向传播中学习。这使得仅需对模型服务方式做微小修改,就能从部署算力中学习:不再向每个用户提供完全相同的模型,而是提供共同模型的一组扰动版本。这需要一种新的推理模型服务范式,我们称之为群体服务。每个被服务的扰动版本根据其接收到的流量打分,群体定期合并,从而即时改进模型。群体服务不是预训练或后训练的替代品。它是它们之后的一个阶段,一种后后训练(post-post-training),其中群体服务利用服务模型所花费的算力持续改进模型。

迄今为止,ES 已被证明在以下条件下有效:每个扰动版本都在相同数据上评估、使用贪心解码,并由完美的验证器打分。这些条件在部署期间都不成立:每个扰动版本看到自己的请求流,使用采样解码,并由可能出错的奖励打分。因此,本博客旨在回答的主要问题是——ES 在部署期间遇到的条件下是否仍能有效学习?

而令我们惊讶的是,我们发现它确实可以!

如今,每个向已部署模型发送查询的用户都被提供完全相同的权重集合。一个模型一天回答十亿个问题,而在那一天结束时,它精确地还是开始时那个模型。它看到的任何东西、答对的任何东西、答错的任何东西,都没有在其参数上留下任何痕迹。我们提出通过对模型服务方式做单一修改来改变这一点,即群体服务,如图 1 所示。具体如下:

群体服务背后的基本思想根植于零阶梯度方法为何有效。在零阶学习中,每个扰动版本都朝着部署模型为优化奖励函数应移动的方向投出一票(Salimans et al., 2017)。合并步骤是扰动噪声的简单线性组合,按每个扰动版本的 z 分数化奖励加权,如下所示:

这里 (\theta_t) 是当前源模型,(\epsilon_{t,i} \sim \mathcal{N}(0, I)) 是定义第 (i) 个被服务扰动版本的噪声((\theta_{t,i} = \theta_t + \sigma\epsilon_{t,i})),(Z_{t,i}) 是该扰动版本在 (N) 个群体中 z 分数化的奖励,(\alpha) 是有效学习率。

如果像上面这样简单的学习配方就能可靠地改进模型,我们认为不做群体服务将是完全的浪费。

在接下来的章节中,我们展示在群体服务范式下,模型可以通过 ES 得到改进,无需完美验证器,且遗忘最小。

ES 通常在远不同于部署的条件下运行。图 2 通过三种数据机制展示了这一点:固定、新鲜和异构。在固定机制中,每个扰动版本都在相同查询上打分,且这些查询在每次迭代中重复使用,如 Qiu et al. (2026) 及其后续工作所做的实验。在新鲜机制中,查询不再跨迭代重复使用,但每个查询仍被发送给所有扰动版本。在部署期间使用任一机制学习都意味着将每个用户查询发送给所有 (N) 个扰动版本,因此每个查询需要多次推理调用,这不切实际。为了在部署期间学习,每个用户查询只能由任意一个被服务的扰动版本回答一次。我们称之为异构机制:没有任何查询被重复,无论是在扰动版本之间还是在迭代之间。此外,基于 ES 的微调期间的响应通常使用贪心解码,这在推理期间也不会发生。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →