语言学家回应乔姆斯基对统计学习模型的批评
来源标题:Chomsky and the Two Cultures of Statistical Learning
针对乔姆斯基回应 Pinker 关于统计方法训练的概率模型为何成功的问题,一篇评论文章系统梳理了乔姆斯基的批评观点并逐一回应。乔姆斯基认为统计语言模型虽有工程价值但与科学无关,只是“收集蝴蝶”式的表面建模,缺乏可理解的原理性洞见。文章围绕其观点是否成立、统计模型是什么、统计语言模型有多成功等问题展开讨论。
以下正文由 AI 翻译自 Hacker News(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
Chomsky的言论是对Steven Pinker关于用统计方法训练的概率模型为何成功的提问的回应。本文是对Pinker和Chomsky的回应,将探讨以下问题:Chomsky是什么意思,他说得对吗?什么是统计模型?统计语言模型有多成功?科学史上是否有类似他们所认为的成功概念?Chomsky不喜欢统计模型的哪些方面?Chomsky是什么意思,他说得对吗?我认为Chomsky的要点如下:统计语言模型在工程上取得了成功,但这与科学无关。准确地建模语言事实只是收集蝴蝶;科学(尤其是语言学)中重要的是底层原理。统计模型难以理解;它们不提供任何洞见。统计模型可能对某些现象提供准确的模拟,但模拟的方式完全错误;人们并不是通过查询以上下文词为键的概率表来决定句子的第三个词应该是什么,而是从内部语义形式映射到句法树结构,再线性化为词。这个过程不涉及任何概率或统计。统计模型已被证明无法学习语言;因此语言必是天生的,那么这些统计建模者为什么要把时间浪费在错误的事业上?他说得对吗?这是一个长期存在的争论。以下是我的简短回答:我同意工程成功不是科学的唯一目标或衡量标准。但我注意到科学与工程是共同发展的,工程成功表明某些东西在正常运作,因此是科学上成功模型的证据(但不是证明)。科学是收集事实和建立理论的结合;两者都无法单独进步。在科学史上,艰苦的事实积累是主要模式,而非新奇之事。理解语言的科学在这方面与其他科学并无不同。我同意,理解一个包含数十亿参数的模型可能很困难。当然,人类无法通过逐一检查每个参数的值来理解这样的模型。但人们可以通过考察模型的属性——它在何处成功与失败、它作为数据函数的学习效果如何等——来获得洞见。我同意词概率的马尔可夫模型无法建模全部语言。同样真实的是,没有概率的简洁树结构模型也无法建模全部语言。需要的是一个涵盖词、句法、语义、上下文、话语等的概率模型。Chomsky因为一个特定的50年前概率模型的缺陷而否定了所有概率模型。我理解Chomsky如何从他对语言生成的研究中得出概率模型不必要的结论。但绝大多数研究解释任务(如语音识别)的人很快就会发现,解释本质上是一个概率问题:给定传入我耳朵的噪声输入流,说话者最可能是什么意思?爱因斯坦说要让一切尽可能简单,但不能过于简单。科学中的许多现象是随机的,它们最简单的模型就是概率模型;我相信语言就是这样的现象,因此概率模型是我们表示语言事实、算法化处理语言以及理解人类如何处理语言的最佳工具。1967年,Gold定理展示了逻辑演绎在形式数学语言上的一些理论局限性。但这个结果与自然语言学习者面临的任务无关。无论如何,到1969年我们已经知道概率推理(在概率上下文无关文法上)不受这些局限性的约束(Horning展示了PCFG的学习是可能的)。我同意Chomsky的观点,不可否认人类具有某种学习自然语言的天生能力,但我们对这种能力了解得还不够,无法说明它如何运作;它当然可能使用类似概率语言表示和统计学习的东西。我们也不知道这种天生能力是语言特有的,还是属于一种更通用的能力,适用于语言和其他事物。本文的其余部分由每个答案的较长版本组成。什么是统计模型?统计模型是一种通过输入数据点来修改或训练的数学模型。统计模型通常是概率性的,但不总是。在区分很重要的情况下,我们会注意不只说“统计”,而是使用以下组成术语:数学模型指定变量之间的关系,可以是函数形式(将输入映射到输出,例如y = m x + b),也可以是关系形式(例如以下(x, y)对属于该关系)。概率模型指定随机变量可能值上的概率分布,例如P(x, y),而不是严格的确定性关系,例如y = f(x)。训练模型使用某种训练/学习算法,以一组可能的模型和一组数据点(例如(x, y)对)作为输入,并选择最佳模型。通常这是通过统计推断过程选择参数值(如上面的m和b)的形式。Claude Shannon例如,在Chomsky之前十年,Claude Shannon提出了基于词马尔可夫链的通信概率模型。如果你有100,000个词的词汇表和一个二阶马尔可夫模型,其中某个词的概率取决于前两个词,那么你需要一千万亿(10^15)个
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。