Arcturus Labs称前沿模型可直接读取神经网络权重

前沿模型似乎能够直接读取、推理甚至更新神经网络权重。（在此阅读报告！）它们并非通过运行训练循环来完成这一过程，而是直接读取数字并推断出需要更改什么。

我的第一反应是：等等。这到底是怎么做到的？

我已经习惯了模型在语言和代码方面让我惊讶。但把一堆神经网络权重交给模型，让它理解其中编码的行为？这感觉是另一种能力。

打个比方。人脑由神经元组成，果蝇的大脑也是如此。我们现在已经获得了成年果蝇大脑的完整连接组。我们——拥有由相同组件构成的非常聪明的大脑——难道不应该能够看着那张接线图并凭直觉理解它吗？

当然不能！那简直疯狂至极。我们的大脑并没有学会读取其他大脑。它们学会的是接收感官数据并产生行为——移动肌肉、分泌激素。

以此类推，LLM 学会的是接收文本和图像并生成有用的输出。它本身是神经网络这一点，并不能自动让它理解另一个网络中第 17 个权重的作用。而当这些权重展示给 LLM 时，它们并不是以某种特殊的、原生的神经权重格式接入 LLM 的。它们是以纯文本形式呈现的。

想想“strawberry”这个词。模型看到的是单词片段——st、raw 和 berry——而不是一系列单个字母。这就是为什么在 2025 年，前沿模型一直向我们坚称“strawberry”有 2 个 r。

所以，当你看到这项研究中使用的某个提示词时（这里有一个提示词，要求模型仅凭架构和权重来识别一个玩 Pac-Man 的神经网络），模型读取的数字如 0.054 -0.026 0.014，其分词方式与任何其他文本输入完全相同。在这个例子中是：0、.、054、-、0、.、026、0、.、014。没有任何特殊通道能把这些数字变成 LLM 可以直接“体验”的网络。尽管如此，它仍能成功找出其中的关系，表明它正在查看一个玩 Pac-Man 的神经网络。

你在互联网上找不到多少与此类似的训练数据。人类训练神经网络，但我们不会查看特定的网络并撰写文章来描述模型权重如何导致各种模型行为。

这种能力如此不自然，以至于我的第一反应是，前沿实验室正在明确地将这种行为训练到模型中，以便他们能够利用它。很聪明——而且令人惊讶的是，这居然真的有效。

另一种可能性坦率地说有点令人震惊：模型比我之前认为的要聪明得多。

我们已经训练模型追踪程序并推理其行为。通过强化学习，我们训练模型非常擅长外推到阅读和编写远远超出其训练集的程序。也许我们已经到了这样一个阶段：这种外推确实达到了一个极端程度，而我原本不会预期 LLM 能够处理。

如果我看代码，我有限的大脑会跟踪几件事。我看到变量在哪里定义，我看到它们如何被操作，我追踪布尔逻辑和控制循环，以理解信息流并推理行为。

但再看看那个 Pac-Man 提示词。当行为表示为矩阵乘法时，你会有多得多的变量——简单来说，每个矩阵的每一行和每一列各有一个变量。而控制代码和变量操作现在由每个矩阵中的每个数值来体现。即使这个很小的网络也有 569 个“变量”，由 17,184 个加权连接相连（再加上一些偏置值）。如果这一切还不够具有挑战性，那么还没有任何友好的语义线索，比如变量名和编程语言关键字，来帮助我们。我无法在脑中记住这些。你能吗？然而，模型现在似乎基本上可以瞥一眼这些不透明的权重，就能直觉地理解关系和行为了。

我确实是说瞥一眼。在非常短暂的思考之后，以下是 GPT-6 Astra 在推理设置为最低时的说法。

推理： 最强的线索是玩家和其他移动实体共享的固定走廊模式。结合基于走廊的可收集物和有用的时间信息，这符合 Pac-Man：在迷宫中导航、收集 pellets、躲避 ghosts。 Pong、Breakout 和接落体游戏通常会将玩家限制在一行或一列。开放竞技场的追逐游戏无法解释不活跃的内部区块。标准 Snake 无法自然解释固定的内部迷宫加上单独表示的移动实体。静态迷宫导航符合几何结构，但不符合大量移动物体通道。 仅凭权重无法确定确切的奖励规则或是否存在 power pellets。 游戏：一个小的基于网格的 Pac-Man 风格迷宫游戏。 描述：智能体穿过固定走廊收集 pellets 以获得奖励，同时躲避移动的 ghosts。可能的目标是在不被抓住的情况下清空迷宫。

我把那个 Pac-Man 提示词分别输入 Astra、Opus 5.5，甚至 Muse Spark 1.3。它们都捕捉到了 Pac-Man 的概念，尽管它们表达的信心程度不同。

（原文较长，此处译出前 6000 字，完整内容请点「打开原文」。）