
RadixArk 发布 DaisyRose-27B,Terminal-Bench 4.1 通过率从 5.6% 升至 12%
来源标题:DaisyRose-27B: 1,200-task RL took Qwen3.8 from 5.6% to 12% on Terminal-Bench 4.1
RadixArk 发布首个模型 DaisyRose-27B,基于 Qwen3.8-27B 用 Miles 做强化学习训练。仅用 1,200 个精选任务、144 块 H200 GPU 训练 18 天,Terminal-Bench 4.1 pass@1 从 5.6% 提升到 12.0%,并在其他推理、指令遵循和编程基准上均有提升。模型以 BF16、FP8 和 NVFP4 三种 checkpoint 形式开放。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
今天我们发布 DaisyRose-27B,这是 RadixArk 的首个模型,基于 Qwen3.8-27B 构建,使用 Miles 通过强化学习训练而成。我们针对长程 agent 任务进行训练,会话长度最高可达 1M tokens,仅用 1,200 个精选任务,在 144 块 H200 GPU 上历时 18 天完成。DaisyRose-27B 将 Terminal-Bench 4.1 的 pass@1 从 5.6% 提升至 12.0%。除 Terminal-Bench 4.1 之外,它在多项其他推理、指令遵循和编码基准测试上也均有提升。
我们发布 BF16、FP8 和 NVFP4 三种 checkpoint,供大家试用和在此基础上继续开发。在本文中,我们将说明精心设计的任务和高效的基础设施如何使我们在有限算力预算下取得这些提升。
DaisyRose-27B 在上述每一项基准测试中的得分都高于原始 Qwen3.8-27B 模型¹。提升最大的是 Terminal Bench 4.1——一个出了名困难的长程基准测试。我们的秘诀在于以下三个关键要素:高质量训练数据、高效训练后端,以及稳健的沙箱。
我们与 Eigent AI 合作构建任务,起点是 Eigent AI 在机器学习、软件工程、科学及其他领域的大量任务池。我们共同构建了数千个候选任务,其中约 1,200 个进入了最终训练集。训练任务依据三条标准进行筛选。
RadixArk 使用 Miles 训练 DaisyRose-27B。Miles 是我们开源的大规模模型后训练强化学习框架,采用全异步模式:agent 持续执行任务,模型同时进行学习,二者互不等待。128 块 H200 负责在 agent 任务上运行推理,另外 16 块运行训练器并从轨迹中学习。每一步之后,更新后的模型被分发到运行 agent 的 128 块 GPU 上。学习过程运行在我们的内部训练后端上,该后端专为 agent 训练而构建:每一步都从少量超长会话中学习,其中一些会话长达 1M tokens,并通过 harness 摘要折叠为多条轨迹。
训练成本降低 57%。在本次发布中,每块 GPU 峰值算力的 37% 用于有效训练工作(模型 FLOPs 利用率,即 MFU),这一数据来自我们的后端。基于 Megatron 构建的开源训练器在可比运行中仅达到 16%。因此,同样的训练所需 GPU 时间减少 57%。在混合专家模型上提升更为显著:Qwen3.6-35B-A3B 上为 6.2 倍,约 300B 参数的 GLM-5.3-Flash 上超过 10 倍。
端到端速度提升 2 倍。计入 agent 执行任务的时间,本次发布运行在 144 块 GPU 上的训练速度约为每秒 16,800 tokens。开源训练器在相同 GPU 上约为 8,300。
数周稳定运行。本次发布运行在 144 块 H200 上持续训练数周,总计 63,000 GPU 小时。从第一步到最后一步,其速度和效率保持稳定。
训练期间,agent 的每一次尝试都在沙箱中运行:沙箱是任务环境的一个全新副本,agent 在其中运行命令、编辑文件,然后接受评分。RadixArk 团队在本次发布中的所有工作都在我们自有服务的沙箱中运行,该服务基于开源项目 AgentENV 构建,我们也为其贡献了修复。9 月中旬至 11 月中旬期间,该服务为本项目运行了约 944,000 个沙箱,同时运行的数量最高达 1,566 个。
规模增长中保持可靠。该服务从单台机器扩展到多达 12 台。我们对其进行了十次升级,几乎全部在训练运行期间完成。在全部九周中,99% 的沙箱创建成功,自 10 月下旬以来超过 99.95% 成功。达到这一水平需要持续不断的修复和改进,例如防止机器在内存耗尽时卡死。
成本降低 80%。本项目沙箱的云基础设施成本,比使用主流云沙箱提供商运行相同沙箱的成本低约 80%。我们降低成本的一种方式是让每个沙箱的内存随其实际使用量动态增减。沙箱通常只使用其申请内存的一小部分,因此每台机器可以运行更多沙箱。
你可以从 Hugging Face 下载 DaisyRose-27B,也可以使用我们的开源强化学习框架 Miles 训练你自己的 agent。
DaisyRose-27B 是高质量数据和高效基础设施所能实现成果的一个示例。我们正在将这一方法带给构建专用模型的团队,重点是在提升其所需能力的同时保留模型更广泛的优势。如果你正在探索为自己的模型进行后训练,请联系 contact@radixark.ai。
我们深切感谢 Eigent AI 在训练数据上的紧密合作,感谢 Qwen 团队创造了 Qwen3.8-27B——我们工作的基础。我们也感谢 Miles 和 SGLang 社区,以及其他开源项目,包括 slime、AgentENV 和 Harbor。
评估方法:Terminal Bench 4.1 为每个任务 8 次运行的平均值,使用我们内部的 mini-swe-agent harness,并开启摘要功能。Terminal Bench 2.1 为每个任务 5 次运行的平均值,使用 Terminus 2 harness。DeepSWE v1.1 和 SWE Bench Pro v2 分别为每个任务 8 次和 5 次运行的平均值,均使用 mini-swe-agent harness。HLE(纯文本)为每个问题 5 次运行的平均值,由 GPT-6 Luna 评分,不使用工具。IFBench 在其 300 个 prompt 上各运行 4 次取平均,由官方 allenai/IFBench 评分器评分,指标为最终回答的 prompt 级宽松准确率,不含思考过程。GPQA Diamond 在其 198 道题上各运行 8 次取平均,使用 simple-evals 多项选择模板和答案提取,每次运行都会重新打乱答案顺序。↩
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。