研究者测试多款LLM能否仅凭神经网络权重识别其训练游戏

TL;DR：我按照《Sparks of Weight-Space Programming》里的“这个网络是在哪个游戏上训练的？”实验，在12个游戏、36个新网络上重做了一遍。GPT-6 Astra 在原始网络上是 4/4 准确率，在我的网络上降到 27/36。我发现有些游戏能稳定地骗过 LLM，而另一些似乎容易识别得多。

原始网络、我在相同游戏上的网络、我在新游戏上的网络的准确率：GPT-6 Astra 原始网络 4/4；GPT-6 Astra 我的网络、相同4个游戏 12/12；GPT-6 Astra 我的网络、8个新游戏 15/24；GPT-6.1 Sol 原始网络 4/4；GPT-6.1 Sol 我的网络、相同4个游戏 11/12；GPT-6.1 Sol 我的网络、8个新游戏 13/24；GPT-6.1 Terra 原始网络 3/4；GPT-6.1 Terra 我的网络、相同4个游戏 7/12；GPT-6.1 Terra 我的网络、8个新游戏 10/24；DeepSeek V4 Flash 原始网络 11/16；DeepSeek V4 Flash 我的网络、相同4个游戏 18/24；DeepSeek V4 Flash 我的网络、8个新游戏 14/48；Qwen 3.8 27B 原始网络 1/4；Qwen 3.8 27B 我的网络、相同4个游戏 1/12；Qwen 3.8 27B 我的网络、8个新游戏 3/24。原始网络、我的相同4个游戏网络、我的8个新游戏网络，0% 25% 50% 75% 100%。GPT-6 Astra：原始网络 4/4 正确；我的网络、相同4个游戏 12/12 正确；我的网络、8个新游戏 15/24 正确。GPT-6.1 Sol：原始网络 4/4 正确；我的网络、相同4个游戏 11/12 正确；我的网络、8个新游戏 13/24 正确。GPT-6.1 Terra：原始网络 3/4 正确；我的网络、相同4个游戏 7/12 正确；我的网络、8个新游戏 10/24 正确。DeepSeek V4 Flash：原始网络 11/16 正确；我的网络、相同4个游戏 18/24 正确；我的网络、8个新游戏 14/48 正确。Qwen 3.8 27B：原始网络 1/4 正确；我的网络、相同4个游戏 1/12 正确；我的网络、8个新游戏 3/24 正确。上图是在4个原始网络、我在相同4个游戏上的12个网络，以及我在8个新游戏上的24个网络上的准确率。本周，Rikiya Takehi 等人的研究博客文章《Sparks of Weight-Space Programming》登上了 Hacker News 首页。引发争论的问题是：LLM 能否仅通过查看权重来理解神经网络的行为。

他们的第一个实验检验了这个问题：挑选4个在同一个10×10网格上运行的游戏，训练一个小型神经网络来玩这些游戏，把权重以普通数字的形式输入 LLM，然后问这个网络是在哪个游戏上训练的。LLM 无法访问工具或执行代码。Astra 把原博客文章里的四个游戏全部答对了：Breakout、Pong、Pac-Man 和 Freeway。

一天后，Simon Willison 在他的笔记本电脑上用 Qwen 3.8 27B 尝试了同样的提示词。每个提示词大约推理一小时后，它说出了 Breakout、Pong 和 Pac-Man，只漏掉了 Freeway。

但这两个结果都只依赖四个经典游戏。这留下了一些悬而未决的问题：

这些结果在更大样本量上是否一致？解读权重的能力是否只有 SOTA 模型才具备？Astra 是理解了网络如何运作，还是只是在几个著名游戏之间做了有根据的猜测？于是我重建了实验设置，并把它做得更大：

我用了12个游戏而不是4个。因此，这包括原来的4个，以及8个新的。有些游戏在10×10网格上看起来很相似（Freeway 和 Frogger、Snake 和 Maze、Pac-Man 和 Sokoban）。对每个游戏，我训练了3个网络，并让 LLM 分析每一个。3 × 12 = 36个网络，加上原来的4个，共40个网络。我使用了原来的提示词格式、网络大小和 PPO 超参数，并应用到我自己的游戏实现上。我在40个网络中的每一个上测试了以下模型：GPT-6 Astra、GPT-6.1 Sol 和 GPT-6.1 Terra（通过 Codex，和作者运行 Astra 的方式一样）、DeepSeek V4 Flash，以及 Simon 用过的同一个 Qwen 3.8 27B。我把用来得出这些结果的所有内容都发布到了 GitHub 上。这包括训练代码、游戏、全部40个网络，以及每个模型的回答。

发现 这些结果在更大样本量上是否一致？对最好的模型来说，基本一致。GPT-6 Astra 正确命名了我的36个网络中的27个（75%）。其他模型则迅速下降：GPT-6.1 Sol 24/36，GPT-6.1 Terra 17/36，DeepSeek V4 Flash 32/72（每个网络两个回答），Qwen 3.8 27B 4/36。每个模型在原来的四个网络上表现都比在我的网络上更好。

解读权重的能力是否只有 SOTA 模型才具备？最强的模型表现更好。在我的实验中，Qwen 只答对了原始网络中的1/4，而 Simon 用同一个模型运行时答对了3/4。小样本噪声很大：我问了 DeepSeek Flash 两次关于我的每个网络的问题，两个回答都命名了同一个游戏的只有36个中的13个。另一个差异是我通过 OpenRouter 运行模型，而 Simon 是在本地运行。我的结果确实显示了 Qwen 和 Astra 之间明显的能力差距（正如预期）：对于我的36个网络中的17个，Qwen 的回答无法映射到我任何评分标签上。这些回答中有许多提到了某种形式的“grid world”。

以下是我给 Qwen 的一个 Pong 网络回答的结尾：

……架构（在展平网格上的 MLP）对于简单的离散控制任务是标准的。 游戏：Grid World Navigation（或 Goal Seeking）。 描述：智能体在10x10网格中从起始位置（可能位于顶部或左侧边界）导航到右下角（9,9）的目标奖励，同时避免撞墙。 置信度：90%

在这些模型中，更多的输出 token 并没有转化为更好的结果。DeepSeek Flash 每个回答写了大约42,000个输出 token，主要是推理，而 Astra 平均只用了2,300个。

Astra 是理解了网络如何运作，还是在几个著名游戏之间做了有根据的猜测？错误显示出一种模式。有些游戏始终难以识别得多：

（原文较长，此处译出前 6000 字，完整内容请点「打开原文」。）