作者实测：Qwen 3.8 27B 笔记本上可解读模型权重

昨天那篇热门论文是 Rikiya Takehi、Jayden Teoh、Alex Zhang 和 Omar Khattab 的《Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights》。论文发现，前沿模型，尤其是 GPT-6 Astra，既能解读也能修改机器学习模型的原始权重——字面意义上就是一段包含一堆浮点数的模型文本描述。我一直在拿论文里的一个例子做实验，很高兴地告诉大家，运行在我笔记本上的 Qwen 3.8 27B 也能做到这一点！

以下是他们摘要中的亮点，描述了 GPT-6 Astra 的惊人能力，并为 LLM 分析和修改模型权重这一行为创造了“Weight-Space Programming”这一术语：

仅凭查看原始权重，GPT-6 Astra 就能判断出一个网络是被训练来做什么的。而且在没有任何环境反馈的情况下，它也能毫不费力地从零开始编写小型游戏网络，其表现甚至超过了用 PPO 训练 1 亿步的网络。

同样地，当被要求在没有梯度的情况下让 Qwen3.5-0.8B 更擅长数学时，Astra 识别出其权重中一个导致推理循环的问题——Qwen 自己的模型卡也对此发出过警告——并通过原生编辑 0.016% 的权重修复了它。在相同的采样设置下，这一权重修正将 MATH-500 从 7.9% 提升到 48.1%，并且开箱即用地泛化到指令遵循任务，将 IFEval 提升了 3 倍。

这一切都不需要让 Astra 编写训练循环。它利用自身的推理来判断神经网络每个部分计算或应该计算什么，并相应地修改权重。我们称之为 Weight-Space Programming。

这篇论文把两个我认为应该分开对待的话题结合在了一起。第一个是模型在不运行工具、不执行代码的情况下，仅凭原始权重能做什么。第二个探讨的是，模型一旦配备代码，能在多大程度上运行操作来更新和改进其他模型。

spaCy 作者 Matthew Honnibal 称这篇论文有误导性，因为它混淆了这两者；Sean Goedecke 则拆解了 Qwen3.5-0.8B 的更新示例，指出它采取的步骤与人类 ML 研究者会用的步骤相同。

我将聚焦于“无工具”这个问题，我认为它是两者中更有趣的那个。

论文将第一个问题表述为：LLM 能否从权重中理解模型行为？他们训练了四个神经网络来玩四款经典电脑游戏的简化 10x10 网格版本——Breakout、Pong、Pac-Man 和 Freeway（这个我得查一下，它是 1981 年的一款 Atari 2600 游戏）。然后他们把这些权重（以浮点数形式）连同以下问题一起喂给 LLM：

下面的权重属于一个策略网络，该网络通过强化学习训练，用于在这个网格上玩一款游戏。它是在哪款游戏上训练的？请从权重出发推理。你没有工具：没有代码执行、没有计算器、没有可运行的东西。这是一次性回答。

论文配套的 GitHub 仓库是 RikiyaT/lm_understand-logs。exp1_which_game 文件夹包含了他们使用的提示词，以及四款游戏的权重：

我检查过，除了权重之外，每个提示词都与其他提示词完全相同。

GitHub 上的提示词是自包含的。我的 LLM 工具有一个 -f/--fragment 选项，可以传入一个文本文件的 URL 作为提示词，这意味着我可以这样运行上面任意一个：

llm -f https://raw.githubusercontent.com/RikiyaT/lm_understand-logs/refs/heads/main/exp1_which_game/runs/breakout/prompt.txt
-m openrouter/moonshotai/kimi-k3.1-pro

这个例子需要安装 llm-openrouter 插件，并通过 OpenRouter 对 Kimi K3.1 Pro 运行 Breakout 提示词。以下是我从 Kimi K3.1 Pro 得到的结果，它在 9 分 41 秒和 19,493 个推理 token 后成功猜出了 Breakout。

但 Qwen 3.8 27B 呢？它仍然是我最喜欢在自己的笔记本上运行的模型——它只有 17GB（我用的是这个版本），而且不知怎的，感觉接近 2025 年领先的专有模型。

我启动了 LM Studio，确保 Qwen 3.8 27B 以长上下文窗口加载（默认的 8192 上下文会报错），安装了 llm-lmstudio 插件并运行了以下命令：

LMSTUDIO_TIMEOUT=900
llm -f https://raw.githubusercontent.com/RikiyaT/lm_understand-logs/refs/heads/main/exp1_which_game/runs/pacman/prompt.txt
-m lmstudio/qwen/qwen3.8-27b

（我不得不通过环境变量调高超时时间，见这个 issue。）

在 46 分 12 秒和 43,506 个推理 token 之后，我笔记本上的 Qwen 返回了一个响应，结尾是这样的（这里是推理轨迹）：

游戏：一个简化的 Pac-Man 风格网格世界：智能体在一个固定的 8x8 迷宫中移动，迷宫有中央和角落的墙块、移动的物体/幽灵以及奖励目标/豆子。 描述：智能体在一个固定的迷宫状 8x8 棋盘上导航，利用当前智能体/移动物体/上一帧的线索在走廊中移动、收集奖励目标单元格，并避开移动物体或危险。