
Hopfield和BAM神经网络可用纸笔训练和推理
来源标题:Hopfield and Bam – Neural Networks You Can Train and Use on Pen and Paper
Hopfield和BAM神经网络足够简单,仅用整数和纸笔就能完成训练和推理。这两种网络是处理二值模式的联想记忆网络:Hopfield为自联想,可还原含噪输入;BAM为异联想且双向映射。它们分别由John Hopfield于1982年、Bart Kosko于1988年提出。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
Hopfield(由 John Hopfield 于 1982 年提出)和二元联想记忆(BAM,由 Bart Kosko 于 1988 年提出)神经网络大约在 40 年前问世,它们足够简单,你可以只用整数、拿一支笔和一张纸就能完成训练和推理。这篇博客文章将展示如何做到。
这两种网络都是基于二元模式工作的联想记忆网络。
Hopfield 网络是自联想的,这意味着当你给它一个模式作为输入时,它被设计为返回训练数据中与输入最接近的那个模式。当你有一些可能含有噪声或错误的输入模式,并且想知道未受污染的原始模式是什么时,这就很有用。
BAM 网络是异联想的,这意味着它们将可能损坏的输入模式映射为输出模式。BAM 网络是双向的,这意味着你也可以输入一个可能损坏的输出模式来得到输入模式。你可以让 BAM 网络变成自联想的,方法是让它把输入模式映射为相同的输出模式。如果这样做,你会得到类似 Hopfield 网络的东西,但并不完全相同。
Hopfield 网络接收一个 N 位向量作为输入,并给出一个 N 位向量作为输出。我们将构建一个示例 Hopfield 网络,用下面这两个 5 位二元模式来训练它:
不过,Hopfield 网络并不直接处理二元数,它们处理的是双极性数。二元数由 0 和 1 组成,而双极性数由 -1 和 +1 组成。所以,让我们把二元模式转换为双极性:
要训练网络,我们首先需要取每个训练模式与自身的外积。
然后我们使用逐元素加法将这些矩阵求和。
最后,我们将主对角线置零,训练就完成了:
网络推理是一个迭代过程,但通常只需要一次迭代。
你取二元输入,将其从二元(0,1)转换为双极性(-1,1),并与矩阵 H 做矩阵乘法。在输出向量中,你将负数转换为 -1,正数转换为 1。如果输出向量中某个值为零,则取输入向量中对应的值。
重复这一过程,直到输出不再变化(输入 == 输出),或者达到最大迭代次数。
一种常见的实现方式是以打乱的顺序进行矩阵乘法(即以随机顺序更新输出值,也就是打乱构成矩阵乘法的点积的顺序),并将每个输出值写回输入向量。按这种方式,输入/输出向量的每个元素就是一个神经元,神经元以打乱的顺序更新,但更新后的神经元值在同一次更新过程中对其他神经元可见。
下面我们将以不打乱的顺序进行更新,作为普通的矩阵乘法,但打乱顺序会是更好的实现方式。
让我们把二元模式 10000 输入网络。
然后将双极性向量与我们的矩阵相乘:
现在我们需要对输出向量中的值应用“符号”函数:如果值为正,替换为 1。如果值为负,替换为 -1。如果值为 0,则使用输入值。
将其从双极性转换回二元,得到 11000,这正是我们用来训练网络的模式 A。
成功了!我们输入了一个损坏的 A 模式,得到了未损坏的 A 模式作为输出。
以下是我输入网络进行测试的其他模式,省略了矩阵乘法和转换步骤。
我上面展示了反转后的模式,因为对于 Hopfield 和 BAM 网络来说,它们不仅学习你给它们的模式,还学习这些模式的反转版本。
上述所有模式都只需一次迭代就达到了稳定模式。它们都输出了某个训练过的模式,而且我们看到,将训练过的模式作为输入会输出自身,因此它们是稳定的。并非所有输入模式都会在一步后收敛,事实上,并非所有输入模式都会收敛!
下面是一个无限迭代循环的例子,它说明了为什么设置最大迭代次数是有用的。
这看起来可能很奇怪,但请看下面的表格。它展示了上面的模式 1 与我们的网络所记忆的 2 个显式模式和 2 个隐式(反转)模式之间的差异。做一次推理迭代的目的是让我们的输入模式向某个输出模式靠近。我们可以看到,它与 A 的距离和与反转 B 的距离一样近,因此我们会预期它至少向其中一个模式靠近。
对 10010 运行推理后,我们得到的输出是 01000。下面我们可以看到,它同时靠近了那两个模式(A 和反转 B),并远离了 B 和反转 A。它取得了前进!
对 01000 再做一次推理迭代后,我们得到的输出是 11010。如你所见,该模式与每个存储模式的比特差异数相同。我们既没有前进也没有后退,而是横向移动了。
如果我们对 11010 再运行一次迭代,它会给出 01000,这同样是一次横向移动,既没有变好也没有变差,于是我们进入了无限循环。
尽管模式没有收敛,但它确实改善了——它向更匹配的模式靠近,远离了匹配度更低的模式。
以打乱顺序更新神经元可能有助于打破这种无限循环,因为它打破了对称性。
毫不意外,Hopfield 和 BAM 网络都有一个可存储模式的最大密度。你给它的模式越多,它们的召回能力就越差。一种理解方式是:会有更多的模式和反转模式可供靠近,因此会有更多的“局部极小值”让你卡住,而无法到达真正存储的模式。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。