Andrej Karpathy 发文分享 RNN 的意外有效性并发布字符级语言模型训练代码
来源标题:The Unreasonable Effectiveness of Recurrent Neural Networks (2015)
Andrej Karpathy 在 2015 年发表文章《The Unreasonable Effectiveness of Recurrent Neural Networks》,讲述 RNN 训练效果超出预期的现象,并同步在 GitHub 发布可训练多层字符级语言模型的代码。文中提到,他的首个用于图像描述的 RNN 模型在训练几十分钟后就能生成看似合理的图像描述。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
循环神经网络(RNN)身上有种神奇的东西。我至今还记得训练第一个用于图像描述(Image Captioning)的循环网络时的情景。训练刚开始的几十分钟里,我那个还很稚嫩的模型(超参数选得相当随意)就开始生成看起来很不错、而且快要说得通的图像描述了。有时候,模型简单程度与产出结果质量之间的比例会远远超出你的预期,那次就是这样的时刻。当时这个结果之所以令人震惊,是因为普遍的看法是 RNN 很难训练(后来经验多了,我实际上得出了相反的结论)。快进大约一年:我一直在训练 RNN,也多次见证了它们的能力和鲁棒性,但它们的魔幻输出仍然总能以各种方式逗乐我。这篇文章就是想和你分享其中一些魔力。 我们将训练 RNN 逐字符生成文本,并思考一个问题:“这到底是怎么做到的?” 顺便说一下,伴随这篇文章,我还在 Github 上发布了代码,可以用来训练基于多层 LSTM 的字符级语言模型。你给它一大段文本,它就会学着逐字符生成类似的文本。你也可以用它复现我下面的实验。不过我们有点操之过急了;RNN 到底是什么? 序列。根据你的背景,你可能会想:循环网络到底特殊在哪里?普通神经网络(以及卷积网络)的一个明显局限是它们的 API 太受限了:它们接受固定大小的向量作为输入(例如一张图像),并产生固定大小的向量作为输出(例如不同类别的概率)。不仅如此:这些模型用固定的计算步数(例如模型中的层数)来完成这种映射。循环网络更令人兴奋的核心原因在于,它们允许我们在向量序列上进行操作:输入是序列、输出是序列,或者最一般的情况是两者都是序列。几个例子可以让这一点更具体: 正如你可能预料的那样,与那些从一开始就被固定计算步数限制住的固定网络相比,序列化的运行模式要强大得多,因此对于我们这些渴望构建更智能系统的人来说也更具吸引力。此外,正如我们稍后会看到的,RNN 用一个固定(但可学习)的函数把输入向量与状态向量结合起来,产生新的状态向量。用编程术语来说,这可以解释为运行一个带有某些输入和一些内部变量的固定程序。从这个角度看,RNN 本质上描述的是程序。事实上,众所周知 RNN 是图灵完备的,意思是它们(在合适的权重下)可以模拟任意程序。但类似于神经网络的通用近似定理,你不应该对此过度解读。事实上,忘了我刚才说的话吧。 如果说训练普通神经网络是在函数空间上做优化,那么训练循环网络就是在程序空间上做优化。 没有序列时的序列处理。你可能在想,输入或输出是序列的情况可能相对少见,但一个重要的认识是:即使你的输入/输出是固定向量,仍然可以用这种强大的形式化方法来以序列方式处理它们。例如,下图展示了 DeepMind 两篇很棒的论文的结果。左边,一个算法学习循环网络策略,让注意力在图像上游走;具体来说,它学会了从左到右读出房屋门牌号(Ba 等人)。右边,一个循环网络通过学会在画布上依次添加颜色来生成数字图像(Gregor 等人): 要点是,即使你的数据不是序列形式,你仍然可以构建并训练强大的模型来按序列方式处理它。你学到的是有状态程序,用来处理你固定大小的数据。 RNN 计算。那么这些东西是怎么工作的?核心上,RNN 有一个看似简单实则不然的 API:它们接受输入向量 x 并给你输出向量 y。然而关键的是,这个输出向量的内容不仅受你刚刚输入的输入影响,还受你过去输入的全部历史影响。写成一个类,RNN 的 API 由一个 step 函数组成: rnn = RNN() y = rnn.step(x) # x is an input vector, y is the RNN's output vector RNN 类有一些内部状态,每次调用 step 时都会更新。在最简单的情况下,这个状态由一个隐藏向量 h 组成。下面是一个普通 RNN 中 step 函数的实现: class RNN:
...
def step(self, x):
update the hidden state
self.h = np.tanh(np.dot(self.W_hh, self.h) + np.dot(self.W_xh, x))
compute the output vector
y = np.dot(self.W_hy, self.h) return y 上面指定了一个普通 RNN 的前向传播。这个 RNN 的参数是三个矩阵 W_hh、W_xh、W_hy。隐藏状态 self.h 用零向量初始化。np.tanh 函数实现了一个非线性,把激活值压缩到 [-1, 1] 范围。简单看一下这是怎么工作的:tanh 里面有两项:一项基于前一个隐藏状态,一项基于当前输入。在 numpy 中,np.dot 是矩阵乘法。两个中间结果通过加法交互,然后被 tanh 压缩成新的状态向量。如果你更习惯数学记号,我们也可以把隐藏状态更新写成 ( h_t = \tanh ( W_{hh} h_{t-1} + W_{xh} x_t ) ),其中 tanh 是逐元素应用的。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。