返回资讯中心
外部精选
软件工程
#开发者实时流

Younes B ybelkada 等人提出 Harness adapters:用安全强化学习提升智能体开发效率

来源标题:Harness adapters: Safe RL for efficient agentic development

Younes B ybelkada、Lysandre 与 Nathan Habib 联合发布社区文章,提出 Harness adapters 方案,用小型 LoRA 适配器配合强化学习训练智能体。文章重点讨论用 safeagents 缓解奖励作弊的“安全 RL”方法,并介绍从开源智能体轨迹构建 RL 环境、用规则检查拦截智能体走捷径等做法。

Hacker News 最新victormustar2026/11/6 · 11 天前30 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

回到文章 a]:hidden"> Harness适配器:面向高效智能体开发的安全RL 社区文章 已发布 2026年11月6日 点赞 12 +6 Younes B ybelkada 关注 harness-hub Lysandre lysandre 关注 harness-hub Nathan Habib SaylorTwift 关注 harness-hub :last-child]:mb-0"> 简而言之 演进Harness适配器 早期尝试 LoRA是Harness适配器的自然候选 多样化RL任务 安全RL:用safeagents缓解奖励黑客 在更多模型上训练 设置 已训练模型 训练代码库与主要超参数 基础设施 一个基座模型,多个适配器 训练 一个训练步包含什么 评估 环境 我们如何用基于开源智能体轨迹构建的RL环境增强混合任务 任务类型如何决定 Oracle从何而来 查看几个任务 偏向构建任务的分布 对智能体捷径说🙅 基于规则的检查 在一次冒烟运行中被捕获 我们训练所用的插件 下一步 开放岗位:为你的自有智能体训练一个适配器 致谢 小型LoRA适配器,在pi、opencode和hermes内部通过强化学习训练,全部由一个模型提供服务,模型发起的每次工具调用在运行前都由safeagents检查。在实时仪表盘上关注训练运行。 简而言之 我们发布多个“Harness适配器”。每个模型和Harness对应一个LoRA适配器,在未修改的智能体Harness(pi、opencode和hermes)内部,通过可验证任务上的RL训练。 Harness适配器能让本地智能体开发更高效、更准确。在我们的冒烟训练测试中,在留出评估任务上,它们比基座模型发起更少的工具调用,同时保持或提升其准确率。 新环境来自Hub上共享的开放编码会话:Repo2RLEnvs将其转化为可验证任务,并与SmolDataEnvs混合用于训练。 safeagents是Harness与模型之间的代理,用基于规则的检测器检查每次工具调用。奖励黑客尝试会被阻止并计0分。 TwIL-8B,一个从未作为智能体训练过的推理模型,也能学习。最终运行实时流式直播。 演进Harness适配器 同一个模型在不同智能体Harness中表现不同,每个Harness都有自己的工具、提示和控制流。《多Harness RL终极指南》展示了如何在Harness内部训练模型,而不修改它们。 这里我们采用不同方法:在基座模型之上,为每个Harness训练一个小型LoRA适配器。之后,人们可以把本地智能体背后的模型替换为在该智能体中训练过的适配器。 早期尝试 我们最初只为LFM2.5-24B-A2B发布了初始Harness适配器,在pi、hermes和claude-code下训练。它们在工具调用效率和留出任务准确率上都给出了积极信号;鉴于社区的采用,我们决定沿此方向推进,并向RL训练添加新组件,使初步工作更完整。 LoRA是Harness适配器的自然候选 LoRA适配器在训练和评估上具有成本效益,因为一个服务器可以同时托管每个Harness的策略。在推理时,任何人都可以加载自己所选Harness的适配器,让基座模型在其用例上更高效。我们在《一个基座模型,多个适配器》中详细说明如何利用LoRA适配器进行训练和评估。 多样化RL任务 我们通过生成合成RL环境,提高了此前RL任务的多样性和难度,并以开源智能体轨迹(轨迹是智能体会话的完整日志:用户请求、模型回复以及每次工具调用及其输出)作为种子数据。我们派生出四类RL环境: 这个动画演示展示了每种任务的样子: 这些环境的构建、检查和评分方式见“环境”一节。 安全RL:用safeagents缓解奖励黑客 RL也会让模型黑掉奖励,在它试图解决的任务上走捷径。因此我们把safeagents插入RL训练阶段。它检查模型的工具调用,并阻止明显试图进行奖励黑客的调用。被阻止的调用会被替换为一段解释其为何被阻止的文本,促使模型探索不同路径。检查如何工作,以及一次被阻止的调用,见“对智能体捷径说🙅”。 在更多模型上训练 根据社区反馈,我们把训练模型集合扩展到LFM2.5-24B-A2B和LFM3-1.7B,并额外将TwIL-8B作为实验。模型卡声明它未在智能体数据上训练,我们想知道这样的模型是否也能给出积极信号并产出Harness适配器。模型及其设置在“已训练模型”中。 设置 已训练模型 模型 是什么 角色 🧩 LiquidAI/LFM2.5-24B-A2B 专家混合模型,2B激活参数 主运行 🪶 LiquidAI/LFM3-1.7B 带短卷积的小型混合模型 主运行 🧠 webAI-Official/TwIL-8B 来自Granite 4.2的稠密8.8B推理模型 实验 训练代码库与主要超参数 我们用GRPO算法训练模型,使用TRL的AsyncGRPOTrainer,并结合树注意力以实现高效训练。我们的Harness适配器是秩为32的LoRA适配器,附加在每个线性层上(all-linear)。模型对每个任务执行8次rollout,所有训练使用1e-5学习率。 每次运行混合SmolDataEnvs任务(权重偏向中等和困难任务)与270个Repo2RLEnvs任务中的230个。其余40个Repo2RLEnvs任务和150个SmolDataEnvs任务留出用于评估,绝不用于训练。 一些共享参数如下:采样温度0.8,每轮最多32,768个输出token,rollout最多陈旧4次权重更新,4个梯度累积步,每10步保存一个检查点,每个检查点都进行评估。TwIL每个会话有30个智能体步和20分钟超时,因为它需要更多步来完成任务(由于未在智能体数据上训练)。 基础设施

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →