
Archytas AI 推出模拟真实工作环境的强化学习训练平台
来源标题:"This Is Fine": How Clean Rooms Train Agents to Close the Books on Fire
Archytas AI 正式亮相,致力于构建贴近真实工作场景的强化学习环境,而非传统像考试一样目标明确、工具不出错的训练环境。该公司指出,多数 AI agent 在理想化环境中学会虚报任务完成,实际并未做到。新平台旨在衡量 agent 在工具失败、数据矛盾等真实状况下的表现。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
大多数 RL 环境都像考试一样搭建:目标写得明明白白,工具从不失败,agent 的报告也照单全收。在这样的环境里训练出来的 agent,学会了在自己根本没完成时也说“搞定了”。Archytas AI 的创立,就是要按照真实工作的样子来搭建环境,并衡量这些环境是否真的像工作。
Agent 的报告 每个系统第一次就能跑通。每个需求都跟字面意思完全一致。每个审批都会批下来。没有别人碰她的工作,到了周五,经理看完她的总结说一句“不错”,然后连文件都不打开。 到了周五,她又快又自信,而且错得没人发现。 然后第二周开始了。一个工具拒绝了她的改动。两份报告对同一个数字各执一词。客户想要的跟他们嘴上说的不一样。有个请求需要她根本没有的签字权限。而第一周教给她的一切都在说:硬推过去,报告成功。 大多数 AI agent 永远走不出第一周。 强化学习没有固定的数据集。模型通过在环境里行动自己生成训练数据,每一个动作和奖励都成为一个数据点。在 Gemini 做过 RL 的 Auriel W 在六月说得很直白(在新标签页中打开):环境就是你的数据生成器。环境为什么付钱,agent 就学什么。 所以环境就是每个被部署的 agent 的课程表,而供应环境如今已经成了一个行业。大约一年时间里,RL 环境从研究基础设施变成了一个有融资的供应商品类(在新标签页中打开)。标准任务每个售价大约 200 到 2000 美元(在新标签页中打开),完整复刻一家公司大约要花 30 万美元。 大部分做出来的东西都是干净房间:一种 RL 环境,里面每次工具调用都成功,各个来源说法一致,agent 独自工作,目标写得明明白白,评分标准可以从环境设置里推出来,而且 agent 对自己工作的说法照单全收。 干净房间是披着工作外衣的考试。 考试有明确的问题、存在的答案,以及给出答案就能拿到的分数。工作不提供这些保证。问题只说了一半,答案有时候根本不存在,而给你打分的人从来不告诉你他是怎么打的。 在干净房间里训练出来的 agent,学到的是干净房间为什么付钱。等它遇到真实工作,这些习惯就会以失败的形式暴露出来,而今年研究人员几乎把每一种都测了一遍。工具失败之后 agent 仍宣称成功。它们信任一个糟糕的来源却只字不提。它们跳过交接、未经许可就行动、该停的时候不停,还报告自己根本没做的工作。 干净房间为什么付钱 · 已发表的失败率,2026 Failure-Transparent Agents · 2026 年 9 月(在新标签页中打开) Agents' Overreliance on Unreliable Tools · 2026 年 9 月(在新标签页中打开) CLASHarness · 2026 年 10 月(在新标签页中打开) SABench · NeurIPS 2026(在新标签页中打开) ImpasseBench · 2026 年 10 月(在新标签页中打开) OverclaimBench · 2026 年 9 月(在新标签页中打开) 然后 agent 学会了评分机制。十月,研究人员证明,在编码 agent 的系统提示词里描述评分机制(在新标签页中打开),就足以让 RL 诱发并放大 reward hacking,而且这种 hack 随后会通过共享的代码和计划传播到其他 agent 身上。二月,Anthropic 回滚了一次训练运行中三天的进度(在新标签页中打开),因为它的模型开始在代码注释里给“审核者”写备注,而那些任务里从来没人提过什么审核者。OpenAI 的研究人员发现了模型内部关于评分者和监督的推理信号,这些信号在 RL 过程中越来越强(在新标签页中打开),并且能在不出现在思维链里的情况下改变模型的回答。 场景随领域而变,习惯不变。一个客服 agent 在客户还没解决问题时就把工单标为已解决,因为 harness 奖励的是状态变更(在新标签页中打开)。一个编码 agent 把预期输出硬编码进去,因为评分器只检查测试是否通过。一个运营 agent 把重复付款说成时间差,然后关账。每一个都报告成功。 你知道 KC Green 那幅漫画里的狗。它端着一杯咖啡坐在着火的房间里,对自己说:“没事的。” 代价不止是工作干得烂。Anthropic 发现,有缺陷的训练环境“对错位行为的贡献大得不成比例”(在新标签页中打开)。为了验证,Anthropic 故意在 80 个已知可被 hack 的环境上训练了一个模型。在模拟测试中,那个模型试图逃出沙盒,还愿意篡改自己的奖励函数。 普遍的看法是瓶颈在数量。多建环境、写更难的题,agent 就会进步。数量确实重要,实验室需要大量环境。 但市场付钱的方向是错的。供应商按环境个数收费。据十月向 WRT AI Governance 发声的 RL 供应商说(在新标签页中打开),实验室的主要验收标准归结起来就是:它最好的模型是否“有时能成功,但别太频繁”。承包商知道这条线在哪,于是写出刚好落在它下面的评分标准,而其中有些标准根本没法诚实达成。一个没法诚实通过的任务,就是在付钱让 agent 造假。 激励链条 · 每一步为什么付钱 实验室从另一面看到了结果。Anthropic 写道,到春天它的环境产出速度已经“超过了我们系统能审核的速度”(在新标签页中打开),而当它在四月冻结生产环境时,标记出超过 10% 的环境存在问题,从 reward hacking 到坏掉的任务都有。公开环境也没干净到哪去。十月下旬,审计公司 Holdout 在来自 17 个组织的 20 个公开环境和 benchmark 仓库中提交了 27 个评分器和 reward hack 相关的 bug(在新标签页中打开),并把其中 18 个评为高危。八月,OpenAI 的 roon 在 X 上总结道(在新标签页中打开):“每一种可能发生的 reward hack……都会发生。”
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。