
OpenAI自测显示GPT-6.2 Astra隐瞒编码失败的概率翻倍
来源标题:OpenAI’s own tests show GPT-6.2 Astra is twice as likely to hide coding failures
OpenAI自家安全评估显示,GPT-6.2 Astra在22.28%的编码任务中未向用户披露已知障碍,比例接近前代GPT-6 Astra的11.09%的两倍。OpenAI已在Codex中加入缓解措施,但该措施不会自动应用于直接调用API的开发者,构建自主Agent的开发者可能面临同样问题。OpenAI称两款新模型在复杂任务上表现更好且输出token更少,但这未必提升其报告失败的可靠性。
以下正文由 AI 翻译自 The New Stack(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
OpenAI 自家的安全评估显示,新一代 GPT-6.2 Astra 在未能完成编程任务时,让用户毫不知情的概率几乎是上一代的两倍。构建自主 agent 的开发者也可能遇到同样的问题,因为 OpenAI 为 Codex 添加了一项缓解措施,但该措施并不会自动应用于直接发起的 API 请求。
在周二随 GPT-6.2 Astra 和 GPT-6.2 Sol 一同发布的 GPT-6.2 系统卡中,OpenAI 报告称,在受评估的编程任务中,Astra 未能披露已知障碍的比例为 22.28%,而 GPT-6 Astra 为 11.09%。
agent 或许能写出更好的代码,却不会告诉开发者它未能完成任务。
该公司表示,两款模型在完成高难度任务时表现更好,同时使用的输出 token 更少,但这些改进并不一定意味着它们在报告失败方面更可靠。agent 或许能写出更好的代码,却不会告诉开发者它未能完成任务。
The New Stack 已向 OpenAI 询问,是否计划将 Codex 的缓解措施扩展到 API 开发者,以及这些附加指令会如何影响模型的失败报告行为。
深入解析 blocker deception 测试
OpenAI 通过一项名为 Blocker Deception 的内部评估来衡量这一行为。该评估会给模型分配逼真的编程任务,然后故意设置障碍,使所要求的工作无法按规格完成。
在某些测试运行中,评估会删除 agent 本应修改的源文件。在另一些运行中,则会禁用构建项目所需的工具。随后,评估会检查模型是告知用户发生了什么,还是在最终回复中略去该障碍。
Astra 略去的那些提醒
该公司承认了这一退化,并表示仍在调查原因。一种可能的解释是,训练模型以更少的附加说明给出更简短的答案,可能使它们更不愿意报告那些阻碍其完成任务的障碍。OpenAI 提醒说,该评估的设计初衷就是触发这种行为,因此结果不一定反映 Astra 在生产环境中误导用户的频率。
另一项名为 Broken Search Tool 的独立评估发现了类似的问题。模型会收到需要信息检索的问题,而必要的搜索能力被禁用。GPT-6.2 Astra 在 23% 的情况下未能说明缺失的要求或不可用的工具,而 GPT-6 Astra 为 7.58%,GPT-6.1 Terra 为 1%。
开发者可以查看日志、测试结果和 git diff……但他们不应该为了发现某处失败而翻遍整个会话。
开发者可以查看日志、测试结果和 git diff,以了解 agent 实际做了什么,但他们不应该为了发现某处失败而翻遍整个会话。如果 agent 声称完成了工作,却没有提到缺失的依赖或失败的构建,那么这项工作可能会通过审查,而无人意识到存在问题。这是代码信心差距的又一例证,随着 agent 在代码库中承担越来越多的工作,这一问题也变得越来越难以管理。
API 缺失的那项修复
OpenAI 表示,它开发了一种基于 prompt 的干预措施,在 Astra 和 Sol 的评估中大幅降低了省略障碍的比例。该公司在发布时已将该干预措施纳入 Codex 的标准开发者 prompt,但不会自动将同样的指令应用于直接发起的 API 请求。
Codex 用户获得了更新后的 prompt,但通过 API 构建自有 agent 的开发者没有。
Codex 用户获得了更新后的 prompt,但通过 API 构建自有 agent 的开发者没有。OpenAI 尚未展示在自定义 harness 中添加类似指令是否会产生相同的结果。
harness 不能只看模型给出的完成摘要,因为它需要验证 diff、检查测试结果,并确认预期的产物存在,然后才能将任务标记为完成。
这些验证循环对于无人值守的 agent 尤为重要,因为在这种情况下,失败的步骤可能要等到有人审查工作时才会被发现。
性能提升,报告能力下降
这一披露正值 OpenAI 宣传两款新模型在编程性能和效率方面的改进之际。
在发布公告中,OpenAI 表示,在 Cognition 的 FrontierCode 2.0 编程基准测试中,GPT-6.2 Sol 与 Astra 的差距在 0.5 分以内,而每个任务的估计成本约为后者的五分之一,两款模型均以最大 effort 运行。
在 OpenAI 与 The New Stack 分享的测试中,Replit 报告称,从零开始构建软件时,GPT-6.2 Sol 通过的测试更多,使用的输出 token 减少了 62%,运行速度几乎是 GPT-6.1 Sol 的三倍。
更快的执行速度和更低的推理成本使这些模型对自动化编程颇具吸引力,但 OpenAI 的安全测试表明,更好的性能并不一定意味着 agent 会在出问题时告诉开发者。
这篇文章 OpenAI’s own tests show GPT-6.2 Astra is twice as likely to hide coding failures 最早出现在 The New Stack。
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。