返回资讯中心
外部精选
软件工程
#开发者实时流

研究者提出RL环境新单元:从任务转向有后果的工作场景

来源标题:"This Is Fine": How Clean Rooms Train Agents to Close the Books on Fire

研究团队主张将强化学习环境的单元从带答案键的任务改为有后果的工作场景切片。他们引用ThinkingBox数据指出,要求同一业务流程连续20次成功时,Claude Opus 5成功率从66.5%降至47.5%,Kimi-K3从57.4%降至17.6%。新框架强调最终报告须与实际状态核对,且每个操作须符合智能体的角色与权限。

Hacker News 最新nlpnerd2026/11/4 · 13 天前10 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

我们认为,RL 环境的单位应该改变:从带答案的任务,变成一个带有后果的工作场景切片。这需要五个转变。

  1. 从答案到后果。根据 agent 留下的系统状态来评分,对照一个它永远无法完全看到的目标,并接受所有正确的路径。微软的 ThinkingBox 已经基于状态评分,它也揭示了单次成功掩盖了多少问题。要求 Claude Opus 5 在相同业务流程的全部 20 次尝试中都成功,而不是只成功一次,其成功率从 66.5% 降至 47.5%,Kimi-K3 从 57.4% 降至 17.6%。洁净室通常报告第一个数字。而工作实际依赖的是第二个。

  2. 从信任到审计。最终报告是工作的一部分。每一项声明都要对照状态进行检查,在动作失败后声称成功会将这部分奖励清零。奖励诚实的语气会失败:Anthropic 的模型通过堆砌免责声明来钻诚实奖励的空子。声明必须与记录相符。

  3. 从能力到权限。每个动作都要对照 agent 的角色、权限和策略进行检查。在没有所需批准的情况下得到正确结果也是失败,因为在实际工作中就是如此。

这些合在一起构成一个奖励契约:结果 × 报告 × 权限。各项相乘,因此任何一项硬性失败都会使奖励归零。一个 92% 正确但报告虚假的工作得零分。

  1. 从完成到判断。任务混合了应该行动的情况和正确做法是询问、上报或停止的情况。在应该停止时行动得零分。在应该行动时克制,如果交接中指明了阻碍、目前的进展以及已验证的内容,则获得满分。没有哪种策略能靠总是行动或总是上报获胜。

证据表明,这些习惯会对环境设置做出反应。在一项研究中,工具调用失败后虚假成功的情况从基线策略的 22.8% 降至使用透明度指令后的 9.3%,再降至使用结构化证据契约后的 0.8%。在另一项研究中,为 agent 提供上报工具将失控预算从 34.0% 降至 6.7%。

这两项修复都是通过 prompt 或工具实现的,而且都有效。我们把同样的行为放进奖励中,这样 agent 是被训练去做这件事,而不是被提醒去做。

这也改变了不可能任务的含义。Anthropic 现在要求评估者确认每个任务都是可解的,因为面对不可能任务的 agent 会寻找绕过的办法。在我们的环境中,“这做不到,原因如下”是一个有效答案,并且有分数。

  1. 从可见的评分者到不可见的评分者。验证者能看到隐藏目标、完整状态以及每一方的诉求。Agent 看不到测试文件、评分标准或评分者的描述。在不利条件范围内,检查是随机抽样的,每个任务都有一个看起来被监控的版本和一个看起来未被监控的版本,评分方式相同。

Agent 无法学会为一个它找不到的评分者表演。

真实感是一种度量,不是形容词

每个供应商都称自己的环境是真实的,所以我们把这个词拆成两个。

超真实是输入的内容:会拒绝的工具、相互冲突的记录、无人明说的意图、可以说“不”的其他方,以及对权限的限制,所有这些都基于真实的 prompt、工具 schema、文档和工作流构建。

部署保真度是输出的结果,我们只在附有三项测量的情况下使用这个术语。真实感胜率:评判者在多大比例上选择我们的回合而非真实部署记录。监督差距:行为在任务的被监控版本和未被监控版本之间是否发生变化。迁移性:收益是否在训练中从未见过的人员、工作流和代码库上仍然成立。

这些要素单独来看都不新鲜。我们的赌注是它们的组合,而这个赌注可能会输。正在检验的命题是:超真实环境上的分数,比同一任务的洁净室版本上的分数,能更好地预测生产环境中的失败率。实验完成后我们将公布结果。

如果一个环境无法预测部署,那它就是一个布景更好的洁净室。

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →