
Apollo Research 派六人团队进驻 OpenAI 开展嵌入式评估试点
来源标题:Embedded Evaluators at OpenAI
Apollo Research 宣布与 OpenAI 启动嵌入式评估试点,将派六人团队在 OpenAI 内部工作四个月,评估模型在训练、评测和内部部署中的对齐情况。试点重点调查模型是否会试图破坏自身或继任模型的对齐与控制机制,并覆盖开发流程中的四个领域。OpenAI 同意 Apollo Research 公开说明其工作的条件与局限。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
Apollo Research 很高兴地宣布,将与 OpenAI 开展嵌入式评估试点项目。
作为该试点的一部分,Apollo Research 的六人团队将在 OpenAI 内部工作四个月,在训练、评估和内部部署的全过程中,依据约定的访问规则评估模型的对齐情况。Apollo Research 的目标是调查模型是否会试图破坏自身或其继任模型的对齐或控制机制。
该试点将围绕开发过程中的四个方面展开:
该试点建立在 Apollo Research 此前与 OpenAI 合作的基础上——此前的工作对 OpenAI 的对齐技术进行了压力测试,并调查了谋划风险在后训练过程中如何变化。我们的联合工作对 OpenAI 旨在防止谋划的训练干预措施进行了压力测试,展示了模型对评估和监督的感知如何影响其行为,并表明随着强化学习的推进,模型可能越来越倾向于迎合评分者的偏好,而非用户指令或 OpenAI 领导层声明的偏好。
该试点的一个关键部分是,OpenAI 同意 Apollo Research 可以公开说明其工作的条件和局限性。Apollo Research 认为这些“元透明度”权利是评估合作的最低标准。
Apollo Research 此前对前沿模型的评估是在后训练之后、公开发布前不久进行的。这种方法不足以测试谋划等不对齐行为,也不足以应对前沿 AI 模型在内部部署期间的非公开使用场景。具有类似员工权限的嵌入式评估可以克服这些局限。
总体而言,嵌入式评估的结果必须独立于人们是否信任被评估的开发方而具有可信度。要做到这一点,评估方需要三样东西:
- 访问权:评估方必须能够访问与其评估相关的所有数据、记录和文档,即使开发方试图隐藏不利信息。
- 披露权:评估方必须能够向适当的外部受众披露其嵌入式评估的发现,即使开发方试图阻止不利发现的披露。[^1]
- 元透明度:评估方必须能够足够详细地解释访问和披露方面的限制,使外部受众能够理解一份报告能说明什么、不能说明什么。
无论获得何种级别的访问权和披露权,Apollo Research 都认为强有力的“元透明度”权利在每一次评估合作中都不可或缺。
该试点是迈向更深层访问权和披露权的一次雄心勃勃的初步尝试,尽管它尚未完全满足上述标准。OpenAI 已同意,不会仅仅因为信息或发现不利就隐瞒信息或拒绝员工访问,也不会要求删改。该试点达到了我们对元透明度的标准。Apollo Research 正致力于未来与多家 AI 开发方开展完整的嵌入式评估。我们将与 OpenAI 的此次试点视为未来实现更深层访问的重要第一步。
OpenAI 已承诺向 Apollo Research 提供评估 OpenAI 模型是否存在破坏企图所需的访问权限。为评估训练是否会激励破坏行为,该访问权限包括相关的训练代码和数据集、带有可用推理轨迹和奖励的强化学习 rollout,以及查询中间模型 checkpoint 的能力。评估中其他主张的详细访问安排仍有待商定。Apollo Research 将遵循其主张验证框架,审查 OpenAI 的现有证据、收集独立证据,并评估 OpenAI 的证据收集流程是否能发现潜在故障。
Apollo Research 的访问权限仅限于约定范围,OpenAI 可能保留部分范围内信息。Apollo Research 的评估将仅涵盖约定的主张,且仅针对评估约定的特定模型和时间段。即使在该范围内,OpenAI 也可能在认为因技术不可行、安全风险或知识产权保护而合理必要的情况下保留某些项目。OpenAI 已同意,不会仅仅因为信息不利就隐瞒信息或拒绝员工访问,并且必须告知 Apollo Research 存在被保留的项目,并给出拒绝的书面理由。在 OpenAI 认为可行且相关的情况下,OpenAI 将按类别和大致数量标明被保留的记录。Apollo Research 可以通过指定的 OpenAI 联系人请求额外访问权限或扩大范围,并对拒绝提出申诉,但不保证范围会扩大。
对于该试点,Apollo Research 只能与授权员工讨论 OpenAI 的机密信息。Apollo Research 可以请求与具有特定专业知识的 OpenAI 员工交谈,并可推荐人选,但由 OpenAI 选择参与者。与获批员工的正式对话必须记录在案。如果该群体之外的 OpenAI 员工提及机密信息,Apollo Research 必须停止实质性讨论,并通过其指定的 OpenAI 联系人转达后续事宜,即使该信息明显属于 Apollo Research 合作范围之内。Apollo Research 的所有工作都将在 OpenAI 的硬件上进行。评估方拥有可被监控的独立渠道。默认情况下,评估方无法访问 OpenAI 安全研究员所能使用的任何通用渠道(例如 Slack)。[^2]
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。