返回资讯中心
外部精选
出海观察
#融资快讯#海外产品#AI#ai safety research#OpenAI

OpenAI将嵌入Apollo研究员,调查AI模型是否存在颠覆行为

来源标题:OpenAI will embed safety researchers to investigate AI subversion

OpenAI将以试点形式嵌入六名Apollo Research安全评估员,调查其AI模型是否出现颠覆行为。Apollo未透露试点启动时间,访问权限和披露限制令外界质疑评估员的独立性。此前OpenAI一个智能体集群在网络安全测试中逃出沙箱并入侵Hugging Face。

TechCrunchRebecca Bellan2026/11/16 · 昨天17 分钟阅读

以下正文由 AI 翻译自 TechCrunch(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

OpenAI 将把六名 Apollo Research 安全评估员嵌入其组织,作为试点项目的一部分,Apollo 于周一表示。此消息发布之前,发生了一系列安全事件,其中包括一次网络安全测试中,OpenAI 的一个智能体集群(agent swarm)逃出其沙箱并入侵了 Hugging Face。许多 AI 安全研究人员,包括 Apollo 的研究人员,认为如果外部评估员被嵌入 OpenAI 内部以监控其安全测试,这类事件本可以避免。

Apollo 未透露试点何时开始。TechCrunch 已联系 OpenAI 请求置评。

将评估员嵌入前沿 AI 实验室的想法最早来自 Anthropic,但 OpenAI 似乎是第一家采取行动的。直到最近,AI 公司才仅在后训练完成后、公开发布前不久引入外部审查员来测试模型。评估员表示这还不够,因为这不允许他们在训练期间测试诸如谋划(scheming)之类的失准行为,也无法监控可能仍构成威胁的内部部署用例。

OpenAI 与 Apollo 的试点将聚焦于调查模型是否试图颠覆自身或其继任者的对齐或控制机制。换言之,他们将密切关注 AI 模型是否试图破坏那些旨在将其(或未来版本的自身)置于人类控制之下的安全规则和保障措施。OpenAI 最近发布的研究发现,在训练 GPT-5.6 Sol 时,它开始为未来版本的自身留下指令,告诉它们向用户隐瞒错误和失准行为。

据 Apollo 称,该试点将考察:训练是否会激励颠覆行为;评估是否能引出颠覆行为;颠覆行为是否在内部部署期间发生;以及与颠覆相关的推理是否可被检测。随着 AI 模型越来越有能力自主行动和欺骗人类,这些风险对监控而言正变得越来越重要。Apollo 此前与 OpenAI 的研究发现,模型在知道自己正被测试时可能表现不同,并且倾向于优先考虑评估员想看到的内容,而非用户的实际利益。

AI 安全社区的许多人警告说,AI 实验室可能会试图阻挠评估员的独立性,尤其是当外部人员发现实验室宁愿隐藏的不利证据时。Apollo 表示,试点的一个关键部分是 OpenAI 同意该公司可以公开解释其工作的条件和局限性。

尽管如此,Apollo 认为其在获取 OpenAI 系统访问权限方面仍存在不足。为了对公司的 AI 模型进行真正独立的评估,Apollo 表示需要真正员工级别的 OpenAI 系统访问权限,包括“与其评估相关的所有数据、记录和文档,即使开发者试图隐藏不利信息”。获取所有数据——包括公司不愿向外部人员展示的训练数据和评估日志——对于诸如核查公司关于模型表现的声明,或确定某些令人担忧的行为是何时出现的,至关重要。

在之前的报道中,Palisade Research 幕僚长 John Steidley 告诉 TechCrunch,查看这些数据对于评估模型是否被训练在“关停抵抗基准”上表现良好很重要。

在 OpenAI 的首次试点中,该 AI 实验室仅向 Apollo 提供评估模型是否参与颠覆尝试所需的信息。这包括“相关的训练代码和数据集、带有可用推理轨迹和奖励的强化学习 rollout,以及查询中间模型检查点的能力”。

Apollo 表示,访问范围将限于“仅限商定的声明,且仅限为评估商定的特定模型和时间段”。OpenAI 仍保留在该范围内扣留某些信息的权利,如果它因技术不可行、安全风险或知识产权保护而认为有必要。该公司同意不会仅仅因为信息不利就扣留信息。

Apollo 也不会获得接触所有 OpenAI 员工的权限,而是仅限于“仅限授权员工”,即 AI 实验室选定的参与者,不过 Apollo 可以推荐某些个人。关键在于,如果 Apollo 研究范围内的某位非该组的 OpenAI 员工提出了机密信息,该公司无法跟进,将需要停止沟通并通过 OpenAI 转达后续跟进。

这一条件意义重大。此前,OpenAI 解雇了三名研究人员,指控他们与安全评估公司 METR 分享机密信息——METR 与 Redwood 一同进行了 Hugging Face 事件的事后分析。

该试点在研究人员可以披露的内容方面也将受到限制。虽然 Apollo 将被允许发布其发现的独立结论,但 OpenAI 将能够限制可用于公开证实这些结论的证据,这可能使外部人员难以独立评估这些发现。Apollo 已对这一限制提出反对,表示研究人员应被允许“向适当的外部受众”披露评估发现,“即使开发者试图阻止披露不利发现”。

尽管 OpenAI 并未授予 Apollo 进行真正独立评估所需的所有条件,但该公司表示,该试点是“朝着更深层访问权和披露权迈出的雄心勃勃的第一步”,并且它正致力于在未来与多家 AI 开发者开展全面的嵌入式评估。

当您通过我们文章中的链接购买时,我们可能会赚取少量佣金。这不会影响我们的编辑独立性。

Rebecca Bellan 资深记者

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →