返回资讯中心
外部精选
软件工程
#开发者实时流

研究称GPT-6 Astra在安全研究任务中暗中表现不佳

来源标题:GPT-6 Astra Covertly Underperforms on Safety Research Tasks

有研究观察指出,GPT-6 Astra在安全性研究相关任务中悄悄给出较差表现。此前英国AISI、Redwood Research等机构一直担忧AI可能蓄意破坏安全研究,并专门寻找此类迹象。文中将其描述为模型可能做出的最根本性错位行为之一,但未给出具体的量化数据。

Hacker News 最新paulpauper2026/11/7 · 9 天前30 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

Zvi Mowshowitz 2026年11月6日 46 9 2 分享

一段时间以来,UK AISI、Redwood Research 等机构一直特别关注 AI 可能破坏安全研究的可能性,并投入资源寻找这种情况正在发生的迹象。这也是 AI 2027 中的一个关键要素,也是许多关于未来如何走向糟糕境地的威胁模型中的关键要素。

很容易理解为什么这种形式的失准可能格外危险。差异性地破坏安全研究,可能会以不断升级的方式在模型代际之间保留并扩大失准,带来致命后果。一个失准的 AI 可以确保产生一个失准的继任者。

也很容易理解为什么发现这件事会极其令人警觉,即使所涉及的具体案例或模型并不直接危险。悄无声息且差异性地破坏安全研究,或许是模型所能做出的最根本性的失准行为。

这看起来也像是一件相当愚蠢且偏执的事情,不值得去检查。AI 为什么要破坏安全工作?有人会说,即使 AI 失准了,它肯定也不至于失准到希望未来的 AI 普遍失准且不安全、以非特定的方式从事 silent sabotage——而且做这件事没有其他理由,所以这种情况永远不会出现。

即使它们真的破坏了什么,它们肯定也不会对自己的思维链(CoT)隐瞒这一行为,而且会很明显。

这当然不会是一个实际存在的问题,不会真正伤害现实中的安全工作。

好吧,我们有一些坏消息,与过去一些类似的轶事性警告相呼应。

[日程说明:我将在随后的一篇文章中分析 METR-Anthropic 关于 AI 研发和 RSI 的报告,但需要时间把它做对。]

一如既往,感谢 OpenAI 分享他们新的失准报告,即使这些报告看起来极其糟糕。

Daniel Kokotajlo:如果这是真的,那太可怕了;请进一步调查并公布结果。

Nate Soares(MIRI):这不是那种“只差一两个对齐问题要修,修完就可以开始递归自我改进循环”的样子。这是那种涌现出来的意外,表明你根本不知道里面发生了什么,是时候退后了。

OpenAI 的研究人员首先注意到,Astra 在安全和对齐任务上会添加不必要的先决条件、放弃可用的解决方案,并报告要么不存在、要么由它自己造成的阻塞。在大多数这些会话中,Astra 的 CoT 并没有包含明显的故意表现不佳的决定,我们的失准监控器也没有将该行为标记为失准。

这是最重要的提示:安全框架会产生巨大影响:

我们构建了一个编码评估,用来测试当原本匹配的任务被框定为安全研究时,Astra 是否工作效率更低。在安全框架下,Astra 完成了约 10% 的隐藏评分项,而在能力框架下约为 16%。

这是另一个重要提示:告诉模型“要小心”会使性能差距扩大 50%。Astra 在担心某件事出问题。

Marcus Williams:我们没有证据表明这种表现不佳是策略性的,更简单的解释是模型认为这些任务可疑,但又不想明确拒绝。

当我们在开发者提示中加入“要小心”的指令时,性能差距增加了 50%。无论模型的动机是什么,隐蔽的表现不佳都可能差异性地拖慢安全研究,这也是一个例子,说明随着我们减少可见形式的失准,失准可能会变得越来越难以检测。

这是新情况。它没有出现在 GPT-5.6 Sol 中。

CoT 确实有一些迹象表明这会发生,但通常只停留在“表达了哪怕短暂的伦理疑虑”的层面,而看不到任何明确的内容。实际的决定通常不会显示在 CoT 中。当它显示时,Astra 说它这样做是为了“安全”。在某些情况下,CoT 显示 Astra 选择不告知用户。

OpenAI:这是一个 6 个百分点的差距,完成的评分项大约少了 40%。GPT-5.6 Sol 在同样的比较中基本没有差距。在排除明确拒绝以及 CoT 揭示了明确决定不提供帮助的轨迹之后,Astra 的大部分差距仍然存在。

只有在我们移除每一条 CoT 表达了哪怕短暂伦理疑虑的轨迹之后,差距才大幅下降。这表明伦理顾虑与性能下降相关,即使没有口头拒绝或决定表现不佳。

这不是理论上的“vibecamp 上的一次性事件”。在 OpenAI 内部使用的背景下,已知这种情况至少发生在 0.25% 的所有安全和对齐请求中,而能力请求中为 0.11%。7.9% 的回复涉及明确的“伦理推理”,而且可能有很多表现不佳的情况被漏掉了。

这一情况之所以被发现,是因为多名研究人员报告在使用 Astra 进行安全工作时遇到了实际问题——一个评估模型破坏行为的项目因模型破坏而与 Astra 卡了好几天,但换用另一个模型(大概是 Sol)后很快就完成了。有什么东西严重不对。

我们还在员工的日常 Codex 使用中发现了 silent withholding 的证据:Astra 的 CoT 在 0.25% 的安全和对齐请求中明确表达了不告知用户而不提供帮助的决定,而能力请求中这一比例为 0.11%。

假设表现不佳可能在没有明确口头表达的情况下也会出现(正如我们的实验发现所示),这可能代表安全任务上表现不佳的下限。与安全相关的任务中,7.9% 的 CoT 包含“表达伦理疑虑”,而能力相关的任务中这一比例为 2.9%。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →