研究称大模型可直接读写神经网络权重，但并非超人能力

最近有篇论文提出，前沿 LLM 可以直接操作神经网络权重。这听起来像是超人类的能力，但其实并不是。

论文展示了 GPT-6 Astra 能够拿过一个小型神经网络，直接与其权重交互，“远远超出了我们对人类或传统算法的预期”。具体来说，Astra 仅凭查看权重就能识别出一个小型网络1被训练来玩什么游戏，甚至还能自己调整权重。最令人印象深刻的结果是，Astra 通过原生编辑权重，显著提升了 0.8B Qwen LLM 的数学能力。这里值得兴奋的原因是，“提升语言模型的超人类能力”恰恰是可能引发递归自我改进的那类东西。

我认为一个聪明的人类 ML 研究员也能完成所有这些任务。根据网络推断出模型被训练来玩什么游戏，这听起来很厉害，直到你考虑三点：

下面是这个计算用三行 Python 表达为热力图： d = np.load("a9f535cc.npz") W1 = d["actor/dense1/kernel"] norms = np.linalg.norm(W1.reshape(10,10,5,32).transpose(2,0,1,3), axis=-1) # 5 x 10 x 10

下面是每个游戏的热力图： 如果有人给你看那张没有游戏标签的热力图，我认为你仅凭注意到玩家在哪里（比如 Breakout 中，在底部的一条水平线上）以及移动物体在哪里（比如 Pac-Man 中，在独特的 Pac-Man 迷宫里），就能立刻识别出至少前三个游戏。Astra 能够在脑中不执行 Python 就计算出范数，这很巧妙3，但并没有那么令人印象深刻，也当然不应该让任何一直关注此事的人感到震惊。

我不打算逐一过论文中的每个例子4，所以让我们直接跳到最令人印象深刻的一个：修复一个 0.8B Qwen 模型的数学能力。0.8B 是很多参数，而“数学”比“根据玩家如何移动来猜游戏是什么”要复杂得多，而且编辑权重可以说比解析它们更难。这里发生了什么？

首先，注意 Qwen 模型并不是在纯粹能力意义上“数学很差”。它有一个具体问题：在 32k token 之后它会陷入循环，因此任何需要超过 32k token 的数学任务都会自动失败5。如果你有一个这样循环的模型，你会如何更新权重来修复它？就个人而言，我会尝试引导：我会写一些会循环的推理文本和一些不会循环的推理文本，计算循环和非循环残差之间的差异，测量每个权重对该差异的贡献，然后尝试手动修剪那些排名靠前的权重。这基本上就是 Heretic 消融剧本。

而这正是 Astra 所做的！它写了四对文本，测量6了对循环有贡献的权重，开始削减它们并测试是否有效，最终找到了一个补丁，阻止了 Qwen 模型循环，从而使其能够处理超过 32k token 的数学问题。再次强调，这正是一个有能力的人类研究员本可以而且会做的事情。

Astra 能够直接更新权重，这很酷。但我们不应该把这看作一种将改变 AI 研究方式的根本性新能力。我们应该把这看作类似于 LLM 输出机器码并调整编译后二进制文件的能力：这是一个令人印象深刻的技巧，但处理二进制文件的最佳方式仍然是编写源代码并编译它。同样，更新模型权重的最佳方式是正常训练它。在智能 LLM 有助于 AI 研究的范围内，它们将通过改进训练来提供帮助，而不是通过神奇地直接调整模型权重。

通过对第一层中 32 个权重分别取每个输入的 L2 范数。 注意，这是超人类的心算，而不是超人类的 AI 研究。 我跳过的最令人印象深刻的一个是从头手写神经网络。虽然很酷，但如果你能把任务表达为一个简单程序，我们已经知道将该程序表达为 NN 是可能的，即使是没有增强的人类也能做到。 所有 <32k token 的问题都在原始 Qwen 模型上成功解决了。 与玩具游戏网络不同，它可以访问 Python。 如果你喜欢这篇文章，可以考虑订阅关于我新文章的电子邮件更新，或在 Hacker News 上分享它。 这是一篇与本文共享标签的相关文章的预览。 从根本上说，可靠地对齐 LLM 是不可能的