Quanta 回顾口述史：ChatGPT 如何颠覆自然语言处理领域

当ChatGPT颠覆整个领域：一段口述史

首页 当ChatGPT颠覆整个领域：一段口述史 评论 保存文章 稍后阅读 分享 Facebook 已复制！ 复制链接 邮件 Pocket Reddit Ycombinator 评论 评论 保存文章 稍后阅读 稍后阅读 上一篇：AI时代的科学 AI中最核心的术语究竟意味着什么 下一篇：AI时代的科学 AI如何识别一只猫？图解指南 系列 自然语言处理 当ChatGPT颠覆整个领域：一段口述史 作者 John Pavlus 2025年4月30日 保存文章 稍后阅读 添加为优先来源 （在新标签页中打开） i 点击告诉Google优先展示Quanta，在搜索结果和AI结果中看到更多优质的科学与数学报道。 这个领域发生了非常重大的变化。人们也一样。 ——Christopher Potts 人工智能 计算机科学 专题 大语言模型 机器学习 自然语言处理 神经网络 Quanta播客 Quanta播客 所有话题 要求科学家识别一次范式转变，尤其是在实时发生的转变，并不容易。毕竟，真正具有颠覆性的知识更新可能需要几十年才能充分展开。但你不必非得搬出“范式”这个词，也能承认有一个领域确实变了——自然语言处理，也就是NLP——而且变化非常大。

自然语言处理的目标就写在名字里：让人类语言的那种无序性（“自然”的部分）变得能被计算机处理（“处理”的部分）。这门融合了工程与科学的学科可以追溯到20世纪40年代，它为Stephen Hawking赋予了声音，为Siri赋予了大脑，也为社交媒体公司提供了另一种向我们精准投放广告的方式。它同时也是大语言模型诞生的原点——这项技术由NLP帮助发明，但其爆炸式增长和变革性力量，仍然让该领域的许多人完全始料未及。

Quanta播客 AI如何让语言学研究陷入存在主义危机。 你的浏览器不支持音频元素。 00:00 / 29:47 APPLE SPOTIFY 换句话说：2019年，Quanta报道了一个当时具有突破性的NLP系统BERT，通篇没有用过一次“大语言模型”这个词。仅仅五年半之后，LLM无处不在，在它所触及的每一个科学社区里点燃发现、颠覆与争论。但它最先触及的——无论好坏还是介于两者之间的一切——是自然语言处理。对于那些亲历其中的人来说，这种冲击是什么感觉？

Quanta采访了19位现任和前任NLP研究者来讲述这个故事。从专家到学生，从终身教授到创业公司创始人，他们描述了一系列时刻——逐渐觉醒的认知、令人振奋的相遇，以及至少一次“存在主义危机”——这些时刻改变了他们的世界。也改变了我们的。

序幕：洪水之前 transformer • BERTology • 规模 到2017年，神经网络已经改变了NLP的现状。但那年夏天，在一篇如今已成为奠基性论文的《Attention Is All You Need》中，Google的研究人员引入了一种全新的神经网络，称为transformer，它很快将主导整个领域。并非所有人都预见到了这一点。

ELLIE PAVLICK（布朗大学计算机科学与语言学助理教授；Google DeepMind研究科学家）：Google在纽约组织了一个工作坊，让学术界人士和他们的研究人员交流，那篇论文的作者之一Jakob Uszkoreit做了展示。他非常清楚地指出，这个模型在设计时完全没有借鉴任何语言学洞见，语气几乎有点挑衅：我就讲讲我们做的这些随机决定，看看这有多荒谬，但看看它效果多好。

当时已经有一种神经网络正在接管一切的感觉，所以人们非常怀疑并加以反驳。大家的主要结论是：“这全是些花招。”

RAY MOONEY（德克萨斯大学奥斯汀分校人工智能实验室主任）：这有点意思，但并不是立竿见影的突破，对吧？并不是第二天世界就变了。我真的认为从概念上讲，这不是处理语言的正确模型。我只是没意识到，如果你用大量数据训练这个概念上非常错误的模型，它能做出惊人的事情。

NAZNEEN RAJANI（Collinear AI创始人兼CEO；当时是跟随Ray Mooney攻读博士的学生）：我清楚地记得在我们的NLP读书会上读到《Attention Is All You Need》。Ray实际上跑过它，我们进行了非常热烈的讨论。attention的概念已经存在一段时间了，也许这就是为什么Ray的反应有点“嗯”。但我们觉得，“哇，这看起来像是一个转折点。”

R. THOMAS MCCOY（耶鲁大学语言学系助理教授）：那年夏天，我清楚地记得我所在研究团队的成员问：“我们要不要研究一下这些transformer？”然后所有人得出结论：“不，它们显然只是昙花一现。”

Christopher Potts（斯坦福大学语言学系主任） CHRISTOPHER POTTS（斯坦福大学语言学系主任）：transformer那篇论文我错过了。即使你现在读它，它也非常低调。我觉得任何人都很难从论文中看出它将会产生什么影响。那需要更多有远见的人，比如BERT团队。

2018年10月推出后不久，Google的开源transformer BERT（以及OpenAI一个不太知名的模型GPT）开始在许多语言处理任务上打破先前神经网络创下的性能纪录。随之而来的是“BERTology”的热潮，研究者们一边努力弄清这些模型为何有效，一边在基准测试上争先恐后地超越彼此——基准测试是帮助衡量NLP进展的标准化考试。

（原文较长，此处译出前 6000 字，完整内容请点「打开原文」。）