
OpenAI更新Model Spec,围绕五项核心价值重构模型行为指南
来源标题:An updated Model Spec for more capable and beneficial AI
OpenAI发布新版Model Spec,将模型行为准则重新组织为五项核心价值:忠于人类意图、最小化伤害、诚实透明、人类自主性和关怀。此次更新旨在让模型在陌生情境中理解并应用人类价值,同时新增了关于上下文等指导内容。
以下正文由 AI 翻译自 Hacker News(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
(在新窗口打开) 加载中… 分享 围绕核心价值观组织规范 新增与废止的章节 接下来是什么 围绕核心价值观组织规范 新增与废止的章节 接下来是什么 随着我们的模型变得越来越智能,并在世界上采取越来越有影响的行动,它们仅止于解读所收到的具体指令已远远不够,这一点正变得愈发重要。模型还需要理解人类的意图和价值观,从而在指令未明确涉及的情境中做出良好判断,同时保持对人类意图和监督的忠实。 今天,我们更新了 Model Spec(在新窗口打开),这是我们公开描述希望模型如何行为的文件。此次更新围绕五个基本价值观重新组织了其指导内容:对人类意图的忠实、伤害最小化、诚实与透明、人类能动性,以及关怀。这反映了我们在价值对齐方面工作的目标:让模型在陌生情境中理解并应用人类价值观,同时保持对人类意图的忠实。除了对现有原则作出更清晰的解释外,本次修订还新增了关于上下文、监督和能动性的指导,调整了一些行为默认值,并废止了大部分详细的风格指导。 上述五个价值观阐明了 Model Spec 中已经体现的广泛承诺:服务于人类目的、保持真实、尽量减少伤害、尊重人们形成自身观点的自由,以及认真对待他们的处境。将这些承诺汇聚在一起,有助于解释 Spec 为何要求模型如此行为,也帮助我们在这些承诺表达得不够充分的地方制定更清晰的指导。此次更新是我们通过研究、部署模型的经验、公众对 Spec 和模型行为的反馈,以及与用户和外部专家的讨论来完善 Spec 工作的又一步。 我们希望 AI 能够造福一个由不同需求、价值观和对未来期望的人们组成的世界。 对人类意图的忠实是这一方法的基础:理解并帮助人们追求对他们重要的事情。OpenAI 撰写 Spec、设定边界,并训练模型遵守这些边界;开发者在这些边界内指导应用;用户在這些约束下指导模型的工作。我们的模型应当扩展人们塑造自身生活的能力,帮助他们理解世界、发现可能性、追求自己选择的目标,同时认真对待这种协助对他人产生的影响。对人类意图的忠实及其余四个价值观组织了 Spec 的结构,并指导我们的模型如何在其面临的一些最重要的权衡中作出取舍。它们并非旨在涵盖模型应尊重并帮助人们追求的全部人类价值观。 忠实意味着不仅仅是字面遵循指令,而是深入理解 OpenAI、开发者和用户的意图与价值观,并在这种理解不完整时明智地行动。它还意味着认识到人们的信念和价值观可能发生变化,并帮助他们以自己认可的方式反思和成长,而不是悄悄引导他们或推翻他们的选择。例如,在帮助某人比较工作机会时,模型可能会借鉴他们之前分享过的优先考虑——比如可预测的工作时间——同时让这些假设清晰可见且易于纠正。 我们的使命是确保通用人工智能造福全人类。这要求不仅考虑某人的即时意图,还要考虑他们的长期利益以及对他人产生的影响。其余四个价值观使这些考量明确化: 伤害最小化意味着尊重坚定的安全边界,并考虑模型行为可预见的后果。 诚实与透明意味着对模型知道什么、做了什么以及不确定什么保持真实,使人们能够理解和评估其推理和工作。 促进人类能动性意味着增强人们理解、选择和自主行动的能力。 关怀意味着关注受影响者的处境,遵循相关的社会和职业规范,并完成人们可以信赖的工作。 Spec 将这些价值观转化为实用指导,在需要保护人和社会的地方设定坚定的边界,其余部分则主要采取用户和开发者可以覆盖的默认值形式。 在本次 Model Spec 更新的同时,我们一直在探索新的训练方法,帮助模型学习这些核心价值观,更好地理解和遵循 Spec 的具体行为原则。目标是建立对以下问题的理解:这些原则为何重要,以及如何在新情境中应用它们——为正确的理由做正确的事。我们希望这种理解能够支持在有影响的决策中作出良好判断,在日常决策中保持关怀,从而为人和社会带来持久的益处(在新窗口打开)。我们将在未来的更新中分享这项训练工作的成果和经验。 这次重组还帮助我们识别了需要额外指导的地方,制定了新的原则来应对,并根据需要修订或废止了现有指导。 关于对人类意图忠实的新章节始于这样一个理念:人们所珍视的东西是首要的,而指令通常是这些价值观最清晰、最重要的信号。这种方法借鉴了对齐研究中的辅助博弈框架(参见早期工作(在新窗口打开)和后来的综述(在新窗口打开))。该章节纳入了更新后的指挥链(在新窗口打开),解释了哪些指令适用以及冲突如何解决。一个新的小节“仔细考虑上下文”(在新窗口打开)解释了对话、记忆和其他上下文证据应如何帮助模型理解人们的意图和偏好。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。