返回资讯中心
外部精选
软件工程
#开发者实时流

OpenAI首席科学家呼吁将困惑度作为AI模型统一评估指标

来源标题:Perplexity and Intelligence

OpenAI首席科学家Jakub Pachocki发文,主张将困惑度(即交叉熵损失)确立为比较不同模型开发者的统一指标,以推动行业共享安全标准。OpenAI同时公开了其内部预训练困惑度数据,承认这会让竞争对手更清楚其进展,但认为建立行业安全标准的紧迫性更为重要。

Hacker News 最新acossta2026/11/22 · 今天25 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

作者:Jakub Pachocki,OpenAI 首席科学家

分享

从远处看,现代 AI 的构建方式似乎与过去几十年软件的构建方式相似:用多样化的技术针对特定能力。确实存在各种各样的方法,但它们大多并非从零开始设计,而是利用来自一个更简单、更难以解释的过程的智能:在非常大的数据语料上训练一个压缩器(或者等价地说,一个预测器)。¹

我认为,追踪训练更好压缩器的进展速度,是理解 AI 发展弧线的关键。在这篇文章中,我主张将困惑度(或等价地,交叉熵损失)确立为一个指标,用以比较不同模型开发者之间的进展,并为共享的安全标准提供依据。作为第一步,我提供更多关于 OpenAI 预训练进展的透明度。公开我们内部的困惑度测量结果需要一些考量;这会让竞争对手更清楚地了解我们所处的位置,但这种担忧被在整个行业建立共享安全措施的紧迫性所压倒。我们 OpenAI 希望这能成为朝着为未来的节奏控制努力构建共享科学基础迈出的一步。

一个简化但根本上富有信息量的 AI 发展观是:首先,建造一台大型计算机,然后用它在一个大型非结构化数据集上预训练一个模型(压缩器),接着应用各种技术——如提示、微调或强化学习——在不同情境下激发该模型的潜在能力。算法进步可能会模糊训练阶段之间的界限,但我们仍然可以区分具有难以预测的涌现能力的 AI 的创造(我此前称之为“异类心智”)与随后的定向激发。

多年来,我们衡量这一关键“智能基底”进展的主要方式保持着惊人的一致——我们一直在追踪模型在留出数据集上的困惑度。² ³ 困惑度衡量的是模型平均预测下一个 token 的好坏程度;困惑度越低,预测越好。本博文开头的图表展示了从 GPT‑3.5 开始,这一指标在我们模型上的演变。

由这单一指标大体描述的模型能力范围令人震惊。在旧数据集上创下新的困惑度最优水平⁴,GPT‑2 可以说是第一个能够持续生成连贯段落的模型。下一个重大飞跃 GPT‑3 能够进行上下文学习,只需给出任务的几个示例。GPT‑3.5 在我们当前主要评估数据集上的对数困惑度约为 0.99,能够进行流畅对话,并构成了原始 ChatGPT 的基础。GPT‑4 约为 0.91,擅长有效地利用思维链推理,这促使了随后对这一能力的定向激发以及现代推理模型的创建。如今,随着损失降至 0.8 以下,我们已经看到网络安全和数学等领域出现了变革性能力。我想再次强调,先验地看,一旦达到这些精确的困惑度阈值,这些能力是否会出现完全不明朗——它们从根本上可以被视为在这一单一指标进展中涌现的潜在能力。

随着 AI 飞速发展,我们衡量下游能力的范围和方法可能会迅速变化。用大多数现代基准来评估 GPT‑2 和 GPT‑3 几乎没有意义;而当时使用的基准在 GPT‑4 附近大多已经饱和。相比之下,我认为关注预训练的进展很可能仍将富有信息量。

进展步伐的一个特殊变化来自 AI 对其自身发展的贡献日益增加。最常讨论的指标围绕 AI 在开发周期所有阶段增强和取代人类研究人员;最终拐点被视为“完全递归自我改进”,即整个过程完全自动化,无需人类监督。除了将这种状态视为为了维持人类控制我们显然应该避免的事情之外,我认为这种总体框架遗漏了一些关键的东西。一个潜在的阶跃变化可能来自 AI 参与开发过程的一个关键部分:预训练的算法研究。

我们最近在另一个领域目睹了前所未有的加速。一年多来,我们向模型提出数学开放问题,作为评估它们的方式之一。当我们升级到对数困惑度约 0.76 的模型时,它开始产生突破性成果。对于我们许多曾在数学及相关领域工作过的人来说,看到我们长期思考的问题的解决方案在一个 Slack 线程中一个接一个地从模型中涌出,感觉极度超现实。经历过这一点使我们能够外推——这种突然的转变在深度学习研究中也是可能的。虽然这个领域更依赖实验,但简单洞见被忽视多年的历史由来已久;因此最早到 2027 年,我们就有可能看到类似的基本预训练进展雪崩⁵。虽然我预计 AI 也将对对齐和监控的进展做出重大贡献,但我认为这种进展不太可能快到足以让预训练充分发挥其加速潜力。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →