
OpenAI启动第一阶段嵌入式独立评估,与四家机构签约
来源标题:First phase of embedded assessments at OpenAI
OpenAI宣布已与Apollo Research、METR、Transluce和Goodfire四家独立评估机构签署协议,启动第一阶段嵌入式评估。这些专家将深入接触OpenAI的内部模型和系统,评估模型对齐情况及风险管理效果。OpenAI表示,随着AI能力快速提升和潜在风险增长,独立评估的公开报告可让外界更清楚地了解实验室如何评估和管理风险。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
分享 我们的试点嵌入式评估员 Apollo Research Goodfire METR Transluce 嵌入式评估协议 范围界定与迭代 安全现场环境 监督与争议解决 员工讨论与证明 利益冲突披露与冷静期 发布与负责任披露期 展望未来 我们的试点嵌入式评估员 Apollo Research Goodfire METR Transluce 嵌入式评估协议 范围界定与迭代 安全现场环境 监督与争议解决 员工讨论与证明 利益冲突披露与冷静期 发布与负责任披露期 展望未来
我们已与四家独立评估机构——Apollo Research、METR、Transluce 和 Goodfire——签署协议,启动第一阶段的嵌入式评估。随着 AI 能力快速提升、潜在风险不断增长,来自独立评估的公开报告可以让人们更清楚地了解各实验室如何评估和管理这些风险。
嵌入式评估让独立专家能够在较长时间内深入接触实验室的内部模型和系统,以评估模型对齐情况以及防护措施的有效性,尤其是在与我们的安全案例相关的方面。根据每项评估的具体需求,评估员可以获取我们研究人员使用的部分相同内部资源,包括模型检查点、源代码、训练和评估数据、监控系统、技术文档,以及与负责相关工作的研究人员和工程师的讨论。这种访问权限为评估员提供了证据和背景信息,使他们能够开展独立评估,并发现我们可能未曾预料到的失效情况。
我们的初步评估聚焦于模型在训练和内部使用期间的对齐与防护措施,作为我们安全案例的补充。这些工作建立在我们对第三方评估的优先事项和原则之上,也建立在多年来与第三方评估方合作的基础上,包括最近一次对我们的内部监控系统进行的试点评估(该评估获得了深入的内部访问权限),以及对 Hugging Face 事件的调查。我们将利用所学到的经验,在未来几个月深化与独立专家的合作。这些努力也支持我们在《白宫超级智能协议》下作出的承诺——我们同意由独立方评估我们的安全控制措施。这些合作有助于在全行业形成更强的独立评估和公开透明的共同标准。
在这次试点评估中,Apollo Research 将评估模型是否会隐蔽地违背开发者的意图行事,以及我们的防护措施能否检测到此类行为。Apollo 将依据来自训练、安全测试和内部使用的证据,分两个阶段评估四项主张:
- 强力的评估和红队测试不会诱发颠覆行为。
- 模型在内部使用期间未曾尝试颠覆。
- 颠覆行为背后的推理是可被检测的。
在 Apollo 评估的第一阶段,我们将提供对部分公开和未发布模型及训练检查点的访问权限、相关训练数据和评估结果、训练干预记录、监控系统和已标记行为,以及能够提供背景信息的研究人员,同时提供开展独立测试所需的工具和算力。
Goodfire 将嵌入可解释性研究人员,并使用 Goodfire 平台分析模型内部结构。其评估的主要目标是训练运行监控、调试和对齐。其评估的主要受众是 OpenAI 内部研究人员,他们将利用评估发现来改进安全性。Goodfire 还将在合作推进过程中公开发布经验教训和发现。
我们计划与 METR 开展两项评估,聚焦模型对齐和监控:
对齐评估:在第一阶段,METR 将评估我们迄今规模最大的强化学习运行中的不对齐行为,包括我们现有测试和监控可能遗漏的失效情况。在选定的运行范围内以及商定的访问权限、资源和安全安排下,METR 将独立设定评估优先级,并迭代开展搜索、分析和诱导实验。访问权限将包括对该运行中相关检查点、训练和评估 rollout 以及不对齐监控记录进行采样。在第一阶段,评估将聚焦于我们规模最大的前沿 RL 运行。1
监控评估:我们最近与 METR 合作开展了一次监控压力测试演练2。我们已初步同意开展另一项监控评估,并打算使其范围更广,但这仍有待双方就评估范围达成一致。
Transluce 将对我们训练后的对齐评估进行初步评估,审查其质量和覆盖范围。在初步评估中,我们将向 Transluce 提供对部分公开和未发布模型的访问权限、我们的训练后对齐评估及相关结果、支持性的模型行为数据和安全案例文档,以及能够提供背景信息的研究人员,同时提供开展独立测试所需的工具和算力。
OpenAI 和 Transluce 还共同计划在 2027 年初开展一项约八周的后续评估,届时将更广泛地访问更多模型、更深入地访问我们的对齐评估,并了解评估结果如何影响模型发布决策。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。