
CoreWeave将自定义训练循环接入模型服务
来源标题:CoreWeave connects custom training loops to model serving
CoreWeave把自定义训练循环与模型服务打通,让生产流量暴露的失败案例可直接反馈到模型迭代。其思路是先判断问题出在模型本身还是检索、上下文、提示词、工具或服务环节,仅在模型确需调整时才用蒸馏、SFT或RL优化。生产证据还可帮助小模型复现大模型行为,从而控制成本并避免再次迁移模型代际。
以下正文由 AI 翻译自 The New Stack(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
生产流量会暴露出基准测试或部署前评估无法完全揭示的故障。它能告诉你哪些边缘情况真正重要,以及用户需要什么。要把这一信号转化为下一个模型版本,需要先做一个决定:是需要改动模型本身,还是问题出在检索、上下文、提示词、工具或服务环节?
改动权重并不能修复系统其他环节的故障。当模型确实是应当介入的地方时,生产环境中的证据可以同时提升质量和经济效益。更小的模型或许能复现更昂贵模型的行为;更好的示例或许能提升一致性;基于结果的奖励或许更适合该任务。对能力足够的模型进行精调,还可以避免再次迁移到新一代模型。
根据故障模式选择技术
当更强的模型已经能产生期望行为,而你想用一个更小、更经济的模型来复现它时,模型蒸馏是合适的选择。当高质量示例能够教会模型更一致的行为时,监督微调(SFT)是合适的选择。当你能够可靠地评估结果,但无法事先明确写出理想回答时,强化学习(RL)是合适的选择。
“改动权重并不能修复系统其他环节的故障。当模型确实是应当介入的地方时,生产环境中的证据可以同时提升质量和经济效益。”
在一个模型的生命周期中,你可能会用到全部三种方法。要根据你的工作负载中的证据来选择,即使这意味着采用一种需要更多前期准备的技术。
生产环境的追踪数据必须转化为训练数据。后训练需要算力和编排,产出的模型还必须经过评估并回到推理环节。这就是闭环的工作。在 RL 中,推理会在训练期间生成 rollout,而新的权重必须在整个运行过程中持续回到服务端。
在 Fully Connected 2026 上,我们推出了 CoreWeave Model Distillation、在 CoreWeave Inference 上运行的 CoreWeave RL Rollouts,以及一个可编程训练 API。这些工作流在 CoreWeave Forge 中相互连接。可编程 API 目前处于限量预览阶段,计划于 2026 年晚些时候正式发布。
基座模型不变时也要保持数据新鲜
CoreWeave Model Distillation 提供了一条托管工作流。CoreWeave Agent Lens 会在应用运行时捕获推理流量。该工作流会把这些流量转化为训练数据,对弱输出重新标注,测试基座模型和超参数,将候选模型部署到 Serverless Inference,并与生产模型进行对比。
如果模型已经具备你的任务所需的能力,新鲜的生产数据可以在不改变你熟悉的 serving 配置的情况下提升其适配度。在切换流量之前,先把新版本与已经在运行的模型进行对比。
Method 曾用这条工作流重新审视一个它已经部署过的模型。2024 年,它使用 OpenPipe,以 GPT-4o 的输出训练 Llama 3.1 8B,使其能够导航银行的交互式语音应答(IVR)系统。2026 年 8 月,Method 引入了新鲜的生产数据,用 GPT-5.6 Sol 重新标注,并训练了另一个版本。在与已部署版本的正面评估中,该候选模型赢得了 57.5% 的对比。
基座模型并没有改变。新鲜的生产数据和 Forge 中的 Model Distillation 让另一次迭代得以更快实现。57.5% 是新版本在正面评估中获胜的比例。
用 Python 掌控训练配方
对于希望自行设计学习过程的团队,Serverless Training 的可编程训练 API 将训练逻辑与基础设施运维分离。你编写一个 Python 循环;CoreWeave 负责管理算力和底层训练基础设施。
下面是一种将 RL 更新与基于已验证演示的周期性监督更新结合起来的方式。该示例创建了一个 learner 和一个 serving adapter,使用学习率为 1e-5 的 Adam 优化器,并在每一步之后将更新后的权重发布给 sampler。
Python
learner = await training.create_learner(model=model, lora=lora)
sampler = await serving.create_adapter(name="sampler")
optimizer = AdamConfig(learning_rate=1e-5)
for step in range(num_steps):
trajectories = await run_agent(sampler, tasks)
update = learner.batch()
update.forward_backward(
build_rl_batch(trajectories), loss="importance_sampling"
)
update.optim_step(optimizer=optimizer)
if (step + 1) % sft_interval == 0:
update.forward_backward(next_demo_batch(), loss="cross_entropy")
update.optim_step(optimizer=optimizer)
update.publish_weights(to=sampler)
await update.result()
await (await learner.save_state("final")).result()
await learner.close()
其中的 rollout 和 batch 辅助函数仅作示意。你的 agent 逻辑、奖励计算和数据准备都应放在这些辅助函数里。该循环对 RL 使用 importance-sampling 损失,对演示数据使用交叉熵损失,然后等待更新结果。它保存最终的 learner 状态并关闭 learner。
你可以自行决定演示数据进入循环的频率、奖励如何计算,以及训练配方如何演进。SFT、RL 和蒸馏共享相同的训练原语,而平台负责运行底层的分布式系统。
Willow 从监督学习起步,随后加入 RL 评分器,以减少填充词、提升可读性,并去除自我纠正的表述。这些评分器被组合成一个奖励函数。Willow 的首席技术官兼联合创始人 Lawrence Liu 表示,与已部署的模型相比,新模型在文本风格、emoji 处理和指令响应方面都更好。
消除 RL 中的 checkpoint 重载延迟
RL serving 需要足够的 rollout 生成、与被训练策略的一致性,以及及时的权重更新。训练器、奖励逻辑和环境可以留在原地,而由 CoreWeave Inference 处理循环中的这一部分。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。