返回资讯中心
外部精选
软件工程
#开发者实时流

Hopfield和BAM神经网络可用纸笔训练和推理

来源标题:Hopfield and Bam – Neural Networks You Can Train and Use on Pen and Paper

Hopfield和BAM神经网络足够简单,仅用整数和纸笔就能完成训练和推理。这两种网络是处理二值模式的联想记忆网络:Hopfield为自联想,可还原含噪输入;BAM为异联想且双向映射。它们分别由John Hopfield于1982年、Bart Kosko于1988年提出。

Hacker News 最新bertman2026/11/13 · 4 天前22 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

Hopfield(由 John Hopfield 于 1982 年提出)和二元联想记忆(BAM,由 Bart Kosko 于 1988 年提出)神经网络大约在 40 年前问世,它们足够简单,你可以只用整数、拿一支笔和一张纸就能完成训练和推理。这篇博客文章将展示如何做到。

这两种网络都是基于二元模式工作的联想记忆网络。

Hopfield 网络是自联想的,这意味着当你给它一个模式作为输入时,它被设计为返回训练数据中与输入最接近的那个模式。当你有一些可能含有噪声或错误的输入模式,并且想知道未受污染的原始模式是什么时,这就很有用。

BAM 网络是异联想的,这意味着它们将可能损坏的输入模式映射为输出模式。BAM 网络是双向的,这意味着你也可以输入一个可能损坏的输出模式来得到输入模式。你可以让 BAM 网络变成自联想的,方法是让它把输入模式映射为相同的输出模式。如果这样做,你会得到类似 Hopfield 网络的东西,但并不完全相同。

Hopfield 网络接收一个 N 位向量作为输入,并给出一个 N 位向量作为输出。我们将构建一个示例 Hopfield 网络,用下面这两个 5 位二元模式来训练它:

不过,Hopfield 网络并不直接处理二元数,它们处理的是双极性数。二元数由 0 和 1 组成,而双极性数由 -1 和 +1 组成。所以,让我们把二元模式转换为双极性:

要训练网络,我们首先需要取每个训练模式与自身的外积。

然后我们使用逐元素加法将这些矩阵求和。

最后,我们将主对角线置零,训练就完成了:

网络推理是一个迭代过程,但通常只需要一次迭代。

你取二元输入,将其从二元(0,1)转换为双极性(-1,1),并与矩阵 H 做矩阵乘法。在输出向量中,你将负数转换为 -1,正数转换为 1。如果输出向量中某个值为零,则取输入向量中对应的值。

重复这一过程,直到输出不再变化(输入 == 输出),或者达到最大迭代次数。

一种常见的实现方式是以打乱的顺序进行矩阵乘法(即以随机顺序更新输出值,也就是打乱构成矩阵乘法的点积的顺序),并将每个输出值写回输入向量。按这种方式,输入/输出向量的每个元素就是一个神经元,神经元以打乱的顺序更新,但更新后的神经元值在同一次更新过程中对其他神经元可见。

下面我们将以不打乱的顺序进行更新,作为普通的矩阵乘法,但打乱顺序会是更好的实现方式。

让我们把二元模式 10000 输入网络。

然后将双极性向量与我们的矩阵相乘:

现在我们需要对输出向量中的值应用“符号”函数:如果值为正,替换为 1。如果值为负,替换为 -1。如果值为 0,则使用输入值。

将其从双极性转换回二元,得到 11000,这正是我们用来训练网络的模式 A。

成功了!我们输入了一个损坏的 A 模式,得到了未损坏的 A 模式作为输出。

以下是我输入网络进行测试的其他模式,省略了矩阵乘法和转换步骤。

我上面展示了反转后的模式,因为对于 Hopfield 和 BAM 网络来说,它们不仅学习你给它们的模式,还学习这些模式的反转版本。

上述所有模式都只需一次迭代就达到了稳定模式。它们都输出了某个训练过的模式,而且我们看到,将训练过的模式作为输入会输出自身,因此它们是稳定的。并非所有输入模式都会在一步后收敛,事实上,并非所有输入模式都会收敛!

下面是一个无限迭代循环的例子,它说明了为什么设置最大迭代次数是有用的。

这看起来可能很奇怪,但请看下面的表格。它展示了上面的模式 1 与我们的网络所记忆的 2 个显式模式和 2 个隐式(反转)模式之间的差异。做一次推理迭代的目的是让我们的输入模式向某个输出模式靠近。我们可以看到,它与 A 的距离和与反转 B 的距离一样近,因此我们会预期它至少向其中一个模式靠近。

对 10010 运行推理后,我们得到的输出是 01000。下面我们可以看到,它同时靠近了那两个模式(A 和反转 B),并远离了 B 和反转 A。它取得了前进!

对 01000 再做一次推理迭代后,我们得到的输出是 11010。如你所见,该模式与每个存储模式的比特差异数相同。我们既没有前进也没有后退,而是横向移动了。

如果我们对 11010 再运行一次迭代,它会给出 01000,这同样是一次横向移动,既没有变好也没有变差,于是我们进入了无限循环。

尽管模式没有收敛,但它确实改善了——它向更匹配的模式靠近,远离了匹配度更低的模式。

以打乱顺序更新神经元可能有助于打破这种无限循环,因为它打破了对称性。

毫不意外,Hopfield 和 BAM 网络都有一个可存储模式的最大密度。你给它的模式越多,它们的召回能力就越差。一种理解方式是:会有更多的模式和反转模式可供靠近,因此会有更多的“局部极小值”让你卡住,而无法到达真正存储的模式。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →