研究者发现GPT-6权重编辑实为线性规划问题
来源标题:Can a Linear Program Do Weight-Space Programming?
MIT CSAIL发布「权重空间编程」研究,GPT-6 Astra可通过推理直接生成或修改神经网络权重。在Qwen3.5-0.8B上仅改动0.016%的权重,MATH-500准确率即从7.9%升至48.1%。有研究者分析后发现,Astra耗时约8小时的权重搜索本质上是在反复试错求解一个线性规划问题。
以下正文由 AI 翻译自 Hacker News(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
上周,MIT CSAIL 发表了 Sparks of Weight-Space Programming。给定一个小型网络的原始权重,GPT-6 Astra 能看出它被训练来玩哪个游戏。只给定游戏规则,它就能从零写出一个小型网络的权重,并击败用 PPO 训练了 1 亿步的网络。没有梯度,没有训练循环,只是推理权重计算了什么。他们把这种方法称为 weight-space programming。
在另一个实验中,他们让 Astra 通过编辑权重来提升 Qwen3.5-0.8B 的数学能力。Astra 只改动了 0.016% 的权重,MATH-500 准确率就从 7.9% 跃升到 48.1%。1
看了 Astra 的编辑过程,我意识到它的大部分搜索其实是在用试错法解一个线性规划。它花了大约 8 小时、28 次前向传播,来选择改哪些权重、改多少。而几次 LP 求解,每次大约一分钟,就能完成同样的工作,改动的权重还少 8 倍。在这篇文章里,我会拆解这次编辑,解释为什么它是一个 LP,以及这对修复本身意味着什么。
小型推理模型有一个常见的失败模式:它们会卡在思考循环里,反复重复同样的几行内容,而不是完成推理。Qwen3.5-0.8B 尤其容易这样,它的模型卡片也说明了这一点。在 MATH-500 上,基础模型 93% 的回答都撞上了 32,768 token 的上限,始终没能给出答案。
这次编辑修复了循环,所以凡是模型会循环的地方它都有帮助。这包括指令遵循:IFEval 从 21% 提升到了 62%。
在很少循环的 Gemma 3 270M 上,Astra 无法实质性地提升它的数学能力。正如作者所说,编辑权重可以移除一个障碍,让隐藏的能力显现出来,但无法添加模型本身不具备的能力。
Transformer 使用残差连接:每一层的输出会加到它的输入上,而不是替换输入。追踪一个 token 穿过网络,你会得到一个单一向量,每一层都往它上面加东西,这个向量叫作残差流(在这个模型中是 1,024 维)。当模型陷入循环时,残差流会朝一个一致的方向偏移。Astra 的修复方法是编辑两层,让它们加上的东西指向相反方向。
Astra 写了四对短文本,每对包含一段有效的推理和同一段推理的循环版本。它把这八段文本都跑过模型,记录每一层每个 token 的残差流向量。对循环文本取平均得到一个向量,对有效文本取平均得到另一个向量。两者之差归一化后,就是循环方向 $u$:模型循环时残差流移动的方向。
每个 MLP 都以一个矩阵 $W$ 结尾(称为 down_proj)。在每个 token 处,它把 MLP 的 3,584 维隐藏激活 $h$ 变成 1,024 维输出 $Wh$,加到残差流 $x$ 上:
所以 MLP 的输出始终是同样 3,584 个向量的加权和,即 $W$ 的列 $w_j$。$W$ 决定了这些向量是什么;激活 $h_j$ 决定每个 token 处每个向量加多少。
每一列都有一部分指向 $u$。这个量 $u^\top w_j$ 就是当 $h_j$ 活跃时,第 $j$ 列把模型往循环方向推多少。Astra 的编辑减去了它的一个倍数 $\alpha$:
当 $\alpha = 1$ 时,沿 $u$ 的分量消失了,这一列不再往循环方向推。对第 15 层和第 19 层的每一列都这样做,GSM8K 和 MATH 训练题上的准确率从 9% 提升到了 33%。当 $\alpha = 6$ 时,分量被翻转:原来沿 $u$ 写 $+a$ 的列现在写 $-5a$,只要被用到就会把模型推离循环。
每个被编辑的列都按同一个向量 $u$ 的倍数变化。所以整个编辑就是一个方向 $u$ 加上每列一个数,$v_j = -\alpha,(u^\top w_j)$,未改动的列为零。这是一个秩 1 变化:
在每个 token 处,它把 $(v \cdot h_t),u$ 加到残差流上:一定量的 $u$,量的大小由被编辑列的活跃程度决定。其他方向不变。
剩下的就是选择 $v$:编辑哪些列,$\alpha$ 取多大。Astra 通过试错法来解决,在一批新的训练题上测试每次编辑:
比 $\alpha = 1$ 推得更猛效果更好,而随机方向则毫无作用。最终编辑对每层只在循环文本上写出最多 $u$ 的 64 列使用了 $\alpha = 6$。
论文公布了 Astra 的完整日志:每次工具调用、每次前向传播、它写给自己的每一条笔记。Astra 有一个加载了权重的 Python 内核,以及 50 次前向传播的预算,每次都是在它选择的训练题或文本上批量运行模型。
编辑在大约 10 小时后冻结,最后 17 次传播重新测试了它,没有做任何改动。2 在这 10 小时中,找到 $u$ 花了 15 分钟。找到 $v$ 花了大约 8 小时。
Astra 在搜索一个 $v$,它要强力地把循环 token 推离 $u$,同时几乎不影响有效 token。由于 token $t$ 处的推力是 $v \cdot h_t$,对 $v$ 是线性的,所以两个要求都是线性不等式。
我从基础模型自己的轨迹中标注了 token:循环 token($R$),位于循环深处;有效 token($P$),远在任何循环开始之前3,并记录了它们在第 15 层和第 19 层的激活 $h_t$。每一个都变成一个约束,LP 选择 L1 范数 $\sum_j |v_j|$ 最小的 $v$:
实践中没有 $v$ 能满足所有约束,所以每个约束都得到一个带惩罚的松弛变量。
最小化 L1 倾向于让 $v$ 变得稀疏。L1 球是一个菱形,当你把它扩大直到接触可行域时,它通常接触在一个角上,那里大多数坐标恰好为零。所以 LP 既选择了列,也选择了量。
为了每层恰好得到 8 列,我保留了效果最大的 8 列,把其余的固定为零,再次求解。4
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。