
OpenAI首席科学家呼吁以困惑度作为AI模型安全对比指标
来源标题:Perplexity and Intelligence
OpenAI首席科学家Jakub Pachocki发文主张将困惑度(交叉熵损失)确立为模型开发者之间的对比指标,以推动行业共享安全标准。他同时公开了OpenAI内部的预训练困惑度数据,承认这会让竞争对手更清楚其进展,但认为建立行业安全措施的紧迫性更为重要。
以下正文由 AI 翻译自 Hacker News(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
作者:Jakub Pachocki,OpenAI 首席科学家 分享 从远处看,现代 AI 的构建方式似乎与过去几十年的软件构建方式相似:用多样化的技术针对特定能力。确实存在各种方法,但它们大多并非从零开始设计,而是利用一个更简单、更难解释的过程所产生的智能:在非常庞大的数据语料上训练一个压缩器(或者等价地说,一个预测器)。1
我认为,追踪训练更好压缩器的进展速度,是理解 AI 发展轨迹的关键。在这篇文章中,我主张将困惑度(或等价地,交叉熵损失)确立为一种指标,用于比较不同模型开发者,并为共享安全标准提供依据。作为第一步,我提供更多关于 OpenAI 预训练进展的透明度。公布我们内部的困惑度测量值需要一些考量;这会让竞争对手更清楚地了解我们的位置,但这种担忧被在全行业建立共享安全措施的紧迫性所压倒。我们 OpenAI 希望这能成为朝着为未来的节奏控制工作构建共享科学基础迈出的一步。
一个简化但本质上富有信息量的 AI 发展观点是:首先,构建一台大型计算机,然后用它在大型非结构化数据集上预训练一个模型(压缩器),接着应用各种技术——如提示、微调或强化学习——在不同情境下激发该模型的潜在能力。算法进步可能模糊训练阶段之间的界限,但我们仍然可以区分具有难以预测的涌现能力的 AI 的创造(我 earlier 称之为“异类心智”)与随后的针对性激发。
我们衡量这一关键“智能基质”进展的主要方式多年来一直保持显著一致——我们一直在追踪模型在留出数据集上的困惑度。2, 3 困惑度衡量模型平均预测下一个 token 的能力;困惑度越低意味着预测越好。本博客文章开头的图表展示了从 GPT‑3.5 开始,我们的模型在这一指标上的演变。
由这一个指标基本描述的模型能力范围令人震惊。在旧数据集上设定新的困惑度最先进水平4,GPT‑2 可以说是第一个能够持续生成连贯段落的模型。下一个重大飞跃,GPT‑3,能够在给定几个任务示例的情况下进行上下文学习。GPT‑3.5,在我们当前主要评估数据集上的对数困惑度约为 0.99,能够进行流畅对话,并构成了原始 ChatGPT 的基础。GPT‑4,约为 0.91,熟练于有效利用思维链推理,这推动了随后对这一能力的针对性激发以及现代推理模型的创建。现在,随着我们达到低于 0.8 的损失,我们已经看到网络安全和数学等领域出现了变革性能力。我想再次强调,先验地看,一旦达到这些精确的困惑度阈值,这些能力是否会出现是完全不清楚的——它们从根本上可以被视为在这一指标进展中涌现的潜在能力。
随着 AI 非常迅速地发展,我们衡量下游能力的范围和方法可能会迅速变化。在大多数现代基准上评估 GPT‑2 和 GPT‑3 几乎没有意义;而当时使用的基准在 GPT‑4 附近基本已经饱和。相比之下,我认为关注预训练的进展可能仍会保持信息量。
进展速度的一个特定变化来自 AI 对自身发展的贡献日益增加。最常讨论的指标围绕 AI 在开发周期所有阶段增强和取代人类研究人员;最终拐点 seen 在“完全递归自我改进”,届时过程将完全自动化,没有人类监督。除了将这种状态视为我们显然应该避免的事情以维持人类控制之外,我发现这个总体框架遗漏了一些关键的东西。可能有一个潜在的阶跃变化来自 AI 参与开发过程的一个关键部分:预训练的算法研究。
我们最近在另一个领域目睹了前所未有的加速。一年多来,我们向模型提出数学开放问题,作为评估它们的方式之一。一旦我们升级到对数困惑度约 0.76 的模型,它开始产生突破性成果。对于我们许多曾在数学及相关领域工作过的人来说,看到我们长期思考的问题的解答在一个 Slack 线程中接连从模型中出现,感觉非常超现实。经历过这一点让我们能够推断——这种突然的转变在深度学习研究中也是可能的。虽然这个领域更依赖实验,但长期以来存在简单洞见被忽视多年的历史;因此最早在 2027 年,我们可能看到类似的基础预训练进展雪崩5。虽然我预计 AI 也会对对齐和监控的进展做出重大贡献,但我认为这种进展不太可能快到足以允许预训练的全部潜在加速。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。