语言学家回应Chomsky对统计学习模型的批评

乔姆斯基的这番话是针对史蒂文·平克关于用统计方法训练的概率模型为何能取得成功所提问题的回应。本文是对平克和乔姆斯基的回应，将讨论以下几个问题：乔姆斯基的意思是什么，他说得对吗？什么是统计模型？统计语言模型有多成功？科学史上有没有类似他们所定义的那种成功？乔姆斯基不喜欢统计模型的哪些方面？乔姆斯基的意思是什么，他说得对吗？我认为乔姆斯基的观点如下：统计语言模型在工程上取得了成功，但这与科学无关。精确地建模语言事实不过是采集蝴蝶标本；科学（尤其是语言学）中重要的是底层原理。统计模型难以理解；它们提供不了任何洞见。统计模型或许能对某些现象给出精确的模拟，但这种模拟的方式完全错误；人们并不是通过查阅以先前词语为键的概率表来决定句子的第三个词应该是什么，而是从内部语义形式映射到句法树结构，再线性化为词语。这一过程不涉及任何概率或统计。统计模型已被证明无法学会语言；因此语言必定是先天固有的，那么这些统计建模者为什么还要在错误的事业上浪费时间？他说得对吗？这是一个由来已久的争论。以下是我的简短回答：我同意工程上的成功不是科学的唯一目标或衡量标准。但我注意到科学与工程是共同发展的，工程上的成功表明某些东西在正确运转，因此也是科学上成功的模型的证据（但不是证明）。科学是收集事实与构建理论的结合；二者都无法单独推进。在科学史上，艰苦的事实积累是主导模式，而非新奇之事。理解语言的科学在这方面与其他科学并无不同。我同意，理解一个包含数十亿参数的模型可能很困难。当然，人类无法通过逐个检查每个参数的值来理解这样一个模型。但人们可以通过考察模型的性质——它在何处成功、何处失败，它随数据量增加的学习效果如何，等等——来获得洞见。我同意，词语概率的马尔可夫模型无法建模全部语言。同样正确的是，一个不含概率的简洁树结构模型也无法建模全部语言。所需要的是一种涵盖词语、句法、语义、语境、话语等的概率模型。乔姆斯基因为一个已有50年历史的特定概率模型的缺陷而否定了所有概率模型。我能理解乔姆斯基是如何从他对语言生成的研究中得出概率模型没有必要这一结论的。但绝大多数研究解释任务（如语音识别）的人很快就会发现，解释本质上是一个概率问题：给定一串传入我耳朵的嘈杂输入，说话者最可能的意思是什么？爱因斯坦说过，一切应尽可能简单，但不能过于简单。科学中的许多现象是随机的，它们最简单的模型就是概率模型；我相信语言就是这样的现象，因此概率模型是我们最好的工具，用来表示关于语言的事实、用算法处理语言，以及理解人类如何处理语言。1967年，戈尔德定理展示了逻辑演绎在形式数学语言上的一些理论局限。但这个结果与自然语言学习者所面临的任务毫无关系。无论如何，到1969年我们就已知道，概率推理（在概率上下文无关文法上）不受这些局限的约束（霍宁证明了PCFG的学习是可能的）。我同意乔姆斯基的说法：不可否认，人类具有某种学习自然语言的先天能力，但我们对这种能力了解得还不够，无法说清它是如何运作的；它完全可能使用类似概率语言表示和统计学习的东西。而且我们不知道这种先天能力是语言特有的，还是属于一种更通用的、对语言和其他事物都起作用的能力的一部分。本文的其余部分由每个答案的较长版本组成。什么是统计模型？统计模型是一种通过输入数据点来修改或训练的数学模型。统计模型通常是概率性的，但并非总是如此。在需要强调这一区分的地方，我们会注意不只说“统计的”，而是使用以下组成术语：数学模型指定变量之间的关系，或以将输入映射到输出的函数形式（例如 y = m x + b），或以关系形式（例如以下 (x, y) 对属于该关系）。概率模型指定随机变量可能取值上的概率分布，例如 P(x, y)，而非严格的确定性关系，例如 y = f(x)。训练模型使用某种训练/学习算法，以一组可能的模型和一组数据点（例如 (x, y) 对）为输入，选出最佳模型。这通常表现为通过统计推断过程选择参数（如上面的 m 和 b）的值。克劳德·香农例如，在乔姆斯基之前十年，克劳德·香农提出了基于词语马尔可夫链的通信概率模型。如果你有一个100,000词的词汇表和一个二阶马尔可夫模型，其中某个词的概率取决于前两个词，那么你需要一千万亿（10^15）个

（原文较长，此处译出前 6000 字，完整内容请点「打开原文」。）