研究团队用SkyRL公开397B模型强化学习训练全流程

分享 我们分步记录了如何对 Qwen3.5-397B-A17B 进行后训练：我们重点讲述正式训练之前那些常被忽视的基础设施与风险排除工作，展示更大模型上更强的提升，并公开完整训练脚本。 这是我们关于用 Mercor 专家数据后训练开放模型系列的第三篇文章。今年一月，我们展示了不到 1,000 个专家标注任务就能让一个开放权重模型在 APEX-Agents 上的得分几乎翻倍。二月，我们将数据集扩展到约 2,000 个案例。由此得到的模型 Applied Compute: Small 基于 GLM-4.7 355B 后训练，在企业法领域排名第一、总榜第四。两次运行都使用了专有的 RL 技术栈。本文公开了配方：我们在公开的 SkyRL 上复现了这些增益，将其扩展到 397B 参数，并公开完整训练脚本、模型权重和评测轨迹。 开源社区在如何训练 27B 到 32B 参数的具有竞争力的编程智能体方面已取得实质进展 [1,2]。关于知识工作智能体的公开研究要少得多，因为真实环境构建成本高昂，长程 rollout 的训练成本也很高。 我们通过用强化学习（RL）对 Qwen3.6-35B-A3B 进行后训练来填补这一空白，使其在 APEX-Agents [3] 上超越 Opus 4.5——这是一个包含 480 个真实知识工作任务的基准。随后我们将最佳配方扩展到 Qwen3.5-397B-A17B，Pass@1 相对提升 70%，从 16.11% 提升到 27.29%。该脚本设计为在专有数据上运行，但我们记录了完整的任务格式，以便你可以将其指向自己的数据。 图 1：在留出的 APEX-Agents 基准上的 Pass@1，展示在 1,928 个专家创建的 APEX-Agents 现成任务上后训练前后的对比。 图 2：按领域的增益。深色柱为后训练后的 -Mercor 模型。35B 在企业法领域增益最大；397B 在管理咨询领域增益最大。 我们取每次运行的最终 checkpoint，分别称为 Qwen3.5-397B-A17B-Mercor 和 Qwen3.6-35B-A3B-Mercor。 在这篇博客中，我们给出面向复杂知识工作的前沿 RL 训练分步指南，包含我们发现的最佳实践和我们学到的经验教训。 完整训练源码、模型权重和评测轨迹见： 本博客组织如下： 第 1 到第 3 步是风险排除。在第 4 步之前我们不会投入大量算力。 APEX-Agents 是 Mercor 面向专业服务领域长程跨应用任务的前沿基准。与仅凭提示的任务不同，每个任务都存在于一个世界之中：一个模拟公司，持有数十个 PDF、电子表格和幻灯片，外加聊天和邮件服务器。许多任务共享同一个世界。智能体通过 MCP 工具或代码执行来工作。480 个基准任务及其全部文件已在 Hugging Face 上公开，你可以在排行榜上查看一个投资银行任务示例。 我们专注于无 SFT 预热的 RL，因为 RL 是后训练中最难做对的部分。我们使用 SkyRL，它由 Berkeley Sky Computing Lab 与 Anyscale 合作构建，原因有三：它能轻松集成任意智能体 harness，支持全异步训练，且其兼容 Tinker 的训练循环让我们可以更换算力后端。 我们以 APEX-Agents 现成（OTS）数据集为锚点开展研究：1,928 个专家创建的任务，涵盖管理咨询、投资银行和企业法。它们与公开基准形态相同，但没有任何世界或提示出现在基准中，因此不存在污染。 在进行任何 RL 之前先把环境和 harness 做对。这意味着三件事：稳健的环境基础设施（失败的轨迹浪费 GPU 小时并使奖励产生偏差）、正确的 harness（怪异行为会教模型绕开你的 harness，消耗本应花在任务上的探索预算），以及精确的 token 计量。 我们使用 Harbor 同时处理数据格式和 rollout 生命周期管理。Harbor 来自 Terminal-Bench 背后的团队：它在容器环境中评估和优化智能体，在 Modal 和 Daytona 等沙箱提供方之间并行运行试验，并为 RL 生成 rollout。在其之上我们实现了自己的 BaseAgent（代码在此），等价于 Mercor 的 archipelago 循环智能体。 Mercor OTS 数据交付将每个世界打包为 image.tar，我们将其推送到 ECR；试验时 Modal 拉取该镜像以启动沙箱。镜像包含世界的文件系统，并运行操作该文件系统的 MCP 服务器（Docs、PDF、Email、Chat）。智能体循环连接到沙箱的 MCP 服务器，并向 LLM 暴露其工具。在我们的设置中，智能体循环运行在 GPU 节点上；它同样可以运行在环境沙箱内、独立容器中，或 Ray 集群的其他 CPU 节点上。 图 3：一次 RL 试验中各部分的运行位置。左：训练数据是预构建 Harbor 任务目录（prompt、config、verifier）的 HuggingFace 数据集，每次试验消费一个任务目录。中：在 Ray GPU 集群上，SkyRL 提供全异步训练循环、vLLM 引擎和飞行中 NCCL 权重同步；每次试验作为独立的 Ray 任务运行，其中 Harbor 的 Trial 围绕我们的 ArchipelagoAgent 驱动 rollout 生命周期（环境启动 → agent.run() → 验证 → 拆除），该智能体与引擎交换原始 token ID。右：每次试验获得一个由其世界 ECR 镜像启动的 Modal 沙箱，在该世界的文件系统上暴露 MCP 服务器；智能体完成后，Harbor 在沙箱内运行验证器，奖励随轨迹一起流回训练器。 配方仓库刻意保持小巧：SkyRL 和 Harbor 是 pip 安装的依赖，无 fork，你需要编写的代码只有几个文件。 ApexAgents-SkyRL-Recipe/ ├── apex_agents_skyrl_recipe/ │ ├── entrypoints/ │ │ └── main_tito_harbor_fully_async.py # 入口：将我们的配置接入 │ │ # SkyRL 的全异步训练器 │ ├── tito_harbor_generator.py # 你唯一需要编写的 SkyRL 代码： │ │ # 实现 GeneratorInterface，运行每个

（原文较长，此处译出前 6000 字，完整内容请点「打开原文」。）