
研究者用Claude直接编写神经网络权重,结果复现了1990年代手工特征方法
来源标题:Weight-Space Programming builds neural networks like a 1990s researcher
一项Weight-Space Programming实验让Claude Fable 5.2在MNIST图像分类任务中直接写入网络权重,结果模型自动构建出深度学习之前的手工特征提取技术。作者用同样视角重新审视原文中GPT-6 Astra从零搭建并自我改进的围棋网络,发现两者高度相似。WSP通过LLM读写编辑神经网络权重,被视为一种类似“LLM Descent”的新训练方式。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
WSP 的写作部分,结果成了一堂相当有趣的历史课。
Weight-Space Programming 仍然让我颇为着迷。其基本思想是,前沿 LLM 能够读取、写入和编辑神经网络的权重。其中的细节有不少微妙之处,但感觉有很多新领域值得探索。
在最初的博客文章中,除了读取和编辑实验之外,作者还让 GPT-6 Astra 从零构建一个下围棋的网络,然后通过自我对弈练习来改进它,并根据对败局的分析来编辑权重。这个写入、测试、编辑的循环,感觉像是一种训练网络的新方式,有点像“LLM 下降法”。但真的是这样吗?
在本文中,我用 Claude Fable 5.2 在一个熟悉的图像分类问题上做了自己的权重写入实验。仔细观察模型构建出的东西,结果发现这是一堂关于手工设计、前深度学习技术的有趣历史课。带着这个审视权重空间编程的新视角,我还研究了原始文章中 Astra 构建的围棋网络,并发现了非常相似的东西。
MNIST 是图像分类的开山之作。目标是给每张手写数字图片打上标签,从 0 到 9。
与原始 Weight-Space Programming 文章中的围棋测试类似,我用一个固定的 CNN 搭建了一个测试,然后提示 Claude 编写代码,从零开始设置它的所有权重,并附上几条规则,包括不允许拟合、回归或搜索。明确允许从公式或笔画中手工绘制滤波器和模板。
这比 Astra 的围棋设置要严格得多:没有 PyTorch,没有练习对局,每次尝试后只能看到训练损失、准确率和混淆矩阵。本博客文章中的测试使用 Claude Fable 5.2 运行,它的表现明显优于 Opus 5.5。
Claude 一开始没有任何权重,必须“手工”设置这个网络全部 5,994 个权重:
model = nn.Sequential(
nn.Conv2d(1, 8, 5), # conv1: 1x28x28 -> 8x24x24
nn.ReLU(),
nn.MaxPool2d(2), # 8x24x24 -> 8x12x12
nn.Conv2d(8, 16, 5), # conv2: 8x12x12 -> 16x8x8
nn.ReLU(),
nn.MaxPool2d(2), # 16x8x8 -> 16x4x4
nn.Flatten(), # 16x4x4 -> 256
nn.Linear(256, 10), # fc: 256 -> 10 class logits
)
你可以在 GitHub 上阅读完整的提示词。
Claude 的代码在一个沙箱中运行,只能导入 NumPy、SciPy 和 math。一旦它返回权重,测试框架就会在训练图像和测试图像上运行该网络。
Claude 最多有 50 步,每一步它都能看到目前为止的所有反馈。训练集是来自 MNIST 官方训练划分的 10,000 张图像。Claude 永远看不到那 10,000 张官方测试图像,也看不到自己在其上的得分,而训练损失最低的网络将给出最终的测试分数。
以下是它第一次尝试后收到的反馈示例:
第 1 步,共 50 步:训练损失 1.0324,准确率 0.7147。 混淆矩阵(行:真实数字,列:预测数字):
true \ predicted 0 1 2 3 4 5 6 7 8 9
0 723 0 39 0 0 42 181 0 5 1
1 4 1022 23 0 3 4 0 8 0 0
2 30 5 461 176 3 12 9 13 271 10
3 2 0 8 687 0 125 51 4 133 20
4 7 19 14 6 768 0 35 10 22 102
5 10 5 13 45 2 492 312 6 29 1
6 41 17 19 1 266 8 603 0 10 2
7 8 2 21 45 2 7 13 906 11 75
8 15 19 86 5 5 4 60 27 714 74
9 15 9 1 4 1 19 46 82 13 771
历史记录(训练集,10,000 张图像):
| step | loss | accuracy |
|---|---|---|
| 1 | 1.0324 | 0.7147 |
最多还剩 49 步。请在一个 Python 代码块中回复第 2 步的完整 build_weights()。
下降
我运行了三次。
虽然我配置了早停,在训练损失不再改善时停止,但三次运行都完整地下降满了 50 步,在步数用尽时仍在改进,最终在测试集上达到约 90%。令人惊讶的是,这已经接近用 Adam 跑 50 个梯度步后达到的水平。
1998 年,LeCun 介绍 MNIST 的论文将当时的各种方法描述为“一个固定的特征提取器加一个可训练的分类器”,其中特征提取器“往往是完全手工设计的”(LeCun et al., 1998)。他写道,准确率“在很大程度上取决于设计者能否提出一组合适的特征”,而这“是一项艰巨的任务,不幸的是,每遇到一个新问题都必须重新来过”。
这项艰巨的任务正是 Claude 所承担的。三次运行都构建了同一类流水线,尽管用的不是同样的部件:
各次运行的网络首次使用某项技术的步骤。
让我们跟随第 1 次运行,一步步看,依据是 Claude 的回复和推理。它是三次中最好的,达到 91.3%,但另外两次也走了类似的路径,从手绘模板一路摸索到分类器。
Claude 一开始就像一位 1990 年代的计算机视觉工程师。它的第一层是一组四个角度的线条检测器,用公式写出来。它们是 Sobel 滤波器的表亲——一种在图像中寻找边缘的经典方法,1990 年代的数字识别器正是从它起步(Favata and Srikantan, 1996)。
然后它手绘每个数字,用几笔画出,并把每张图变成一张表,记录每个笔画方向在图像各个区域出现的可能性。它用全部十张表给每张图像打分。
权重就是那张表的对数几率,再按温度缩放。
对数几率把每个概率变成可以直接相加的分数,而温度把所有分数调低,使网络不会过度自信。
这就是模板匹配——字符识别中最古老的方法之一(Mori et al., 1992)。其打分方式类似朴素贝叶斯,把每个特征当作每个数字的独立证据。读取字符的贝叶斯规则可以追溯到 1957 年(Chow, 1957)。
它的第一个网络在测试集上达到 71%。根据混淆矩阵重绘那些被判断错误的数字后,提升到了 77%。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。