研究者尝试破解权重编程，发现模型只是在编译10行程序

在TL;DR中：我复现了Weight Programming博客文章中的部分结果，可以确认Astra确实能做到。Opus 5.5也能做到，但在最大努力程度下，它会把全部128k token的输出预算都花在思考上，从不给出答案。我展示了Astra如何在Breakout上获得高分：查看它的推理过程，答案其实相当简单。它把简单的代码编译进了权重里！这很复杂，但考虑到这些模型已经能写出数千行代码，也并不令人意外。随后我通过把网络隐藏在模型必须撤销的声明式操作背后，让解码变得更困难，而模型仍需做出相同的推断。随着操作需要更多工作量，它的推理token也随之增长。当解码不可能完成时，比如面对SHA-256，模型干脆拒绝尝试逆向。我把这种行为与衡量任务内在复杂度的方式联系起来。我在https://github.com/flecart/weight-programming 分享了所有代码和复现结果。

当我第一次读到MIT实验室那篇病毒式传播的工作时，我高度怀疑。前沿LLM能够直接操作权重，这在我看来毫无道理。我确信在某个时刻事情一定会崩掉。这篇博文就是我试图打破weight programming（以及失败）的故事。不过，我有理由相信我发现了一个限制，它与任务复杂度的某种概念相关。

文章结构如下：第1节分析Astra开发的程序，并表明它只是一次简单的编译。这样的模型能做到这一点仍然新颖，但考虑到它们近期在逆向工程方面的能力，并不那么令人惊讶。第2节探讨每个transformer都存在的可能极限，这延伸到weight programming的极限。它有一个有趣的推论：在许多情况下，权重更新是一个比预期更简单的过程。如果这是真的，可能表明除反向传播之外的其他算法，在类似复杂度论证的驱动下，会更有效地以目标导向的方式更新权重。第3节讨论该领域两篇已知论文，它们讨论了transformer的固有极限。这些论文的假设似乎略有错误，使得模型能够绕过所述限制的很大一部分。观察前沿模型如何利用其推理上下文来绕过这些问题也很有意思。我在结论中用一些随想收尾：）。

通过分析推理轨迹的摘要和设计出的权重，我们可以理解在底层究竟做了什么，从而创建出表现如此出色的“权重程序”。

“第一层计算四个落点误差和两个方向指示。下降预测包含墙壁反射；上升预测预判最早可能的砖块反弹，并随着球上升而修正。早期定位倾向于保持水平方向以横扫砖块；接近底部时，接受任一有效的接球列。第二层门控左/右决策，在位置正确时选择no-op。”

这确实是一个针对问题的临时解决方案，而该问题可以用其他更熟悉的方式来理解。查阅文献还可以发现，这项技术被称为Lindner et al. 2023。尽管如此，看到一个模型能够以一次性方式做到这一点仍然令人惊讶。

经过一番工作，Claude表明整个被实现的程序只是一个非常简单的Python程序：

d = direction(trail) # units 4-5: two sign bits gap = landing_column[d][ball] - paddle # units 0-3: one lookup table per direction if gap < 0: move_left() # layer 2 (AND) + output (OR) elif gap > 0: move_right() else: stay()

参见附录D“Decoding Astra's Program”。这样的编译需要人类花数小时手工调优。但最终，它似乎并没有那么壮观。

由于所研究的游戏都容易处理，这个特定实验并不那么令人惊讶。

我们真正可以研究的是，一个程序需要达到多高的复杂度才会崩溃，即使是对Astra这样的前沿LLM也是如此。

写权重就是编译，这是一种与编写纯机器码非常相似的活动。唯一的区别在于，机器码写入的是寄存器或内存，而这里直接写入数字。这让我不禁思考，如果我们一直使用这样的硬件而不是冯·诺依曼架构，我们今天所知的计算机器会如何发展。历史上的一些决定有着深远的影响。

本节的思路是找到这样一个复杂度水平：达到该水平时，识别游戏变得遥不可及。

（原文较长，此处译出前 6000 字，完整内容请点「打开原文」。）