返回资讯中心
外部精选
软件工程
#开发者实时流

研究者发现线性规划可完成权重空间编程,效果优于GPT-6 Astra

来源标题:Can a Linear Program Do Weight-Space Programming?

一项分析指出,GPT-6 Astra 的权重编辑搜索大部分等价于用试错法求解一个线性规划问题。Astra 曾用约8小时、28次前向传播挑选权重改动,将 Qwen3.5-0.8B 的 MATH-500 准确率从7.9%提升至48.1%;而两次约一分钟的线性规划求解即可达到同样效果,且改动权重少8倍。

Hacker News 最新frostbyte72026/11/10 · 7 天前27 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

上周,MIT CSAIL 发表了《Sparks of Weight-Space Programming》。给定一个小型网络的原始权重,GPT-6 Astra 能够判断出它被训练来玩哪个游戏。仅给定游戏规则,它就能从零写出一个小型网络的权重,并击败用 PPO 训练了 1 亿步的网络。没有梯度,没有训练循环,只是对权重计算的内容进行推理。他们由此创造了「权重空间编程」这一说法。 在另一项实验中,他们让 Astra 通过编辑 Qwen3.5-0.8B 的权重来提升其数学能力。Astra 只改动了 0.016% 的权重,MATH-500 准确率就从 7.9% 跃升到 48.1%。1 观察 Astra 的编辑过程,我意识到它的搜索大部分是在用试错法求解一个线性规划。它花了大约 8 小时和 28 次前向传播来选择改哪些权重、改多少。而几次 LP 求解,每次大约一分钟,就能完成同样的工作,且改动的权重少了 8 倍。在这篇文章中,我将逐一拆解这次编辑、为什么它是一个 LP,以及这对修复本身意味着什么。 小型推理模型有一个常见的失败模式:它们会陷入思考循环,反复重复相同的几行内容,而不是完成推理。Qwen3.5-0.8B 尤其容易出现这种情况,其模型卡中也指出了这一点。在 MATH-500 上,基础模型 93% 的回答都撞上了 32,768 token 的上限,始终没能给出答案。 这次编辑修复了循环,因此凡是在模型会循环的地方都有帮助。这包括指令遵循:IFEval 从 21% 提升到了 62%。 在很少出现循环的 Gemma 3 270M 上,Astra 无法实质性地提升其数学能力。正如作者所说,编辑权重可以移除一个障碍、让隐藏的能力显露出来,但无法添加模型本身不具备的能力。 Transformer 使用残差连接:每一层的输出是加到其输入上,而不是替换它。跟踪一个 token 穿过网络,你会得到一个所有层都会往其上累加的单一向量,称为残差流(在这个模型中是 1,024 维)。当模型陷入循环时,残差流会朝一个一致的方向偏移。Astra 的修复方法是编辑两层,使它们所加的内容指向相反方向。 Astra 写了四对短文本,每对包含一段有效推理和同一推理的循环版本。它把这八段文本都跑过模型,并记录每个 token 在某一层的残差流向量。对循环文本取平均得到一个向量,对有效文本取平均得到另一个向量。两者之差归一化后,就是循环方向 $u$:即模型循环时残差流的移动方向。 每个 MLP 都以一个矩阵 $W$(称为 down_proj)结尾。在每个 token 处,它把 MLP 的 3,584 维隐藏激活 $h$ 转换为 1,024 维输出 $Wh$,并加到残差流 $x$ 上: 所以 MLP 的输出始终是同样的 3,584 个向量(即 $W$ 的列 $w_j$)的加权和。$W$ 决定了这些向量是什么;激活 $h_j$ 决定了每个 token 处每个向量被加入多少。 每一列都有一部分指向 $u$。这个量 $u^\top w_j$ 就是列 $j$ 在 $h_j$ 活跃时把模型推向循环的程度。Astra 的编辑减去了它的一个倍数 $\alpha$: 当 $\alpha = 1$ 时,沿 $u$ 的分量被消除,该列不再推向循环。对第 15 层和第 19 层的每一列都这样做,在 GSM8K 和 MATH 训练题上的准确率从 9% 提升到了 33%。当 $\alpha = 6$ 时,分量被翻转:原本沿 $u$ 写入 $+a$ 的列现在写入 $-5a$,每当被使用时都会把模型推离循环。 每个被编辑的列都按同一个向量 $u$ 的倍数变化。所以整个编辑就是一个方向 $u$ 加上每列一个数 $v_j = -\alpha,(u^\top w_j)$,未被改动的列则为零。这是一个秩 1 的改动: 在每个 token 处,它把 $(v \cdot h_t),u$ 加到残差流上:即一定量的 $u$,由被编辑列的活跃程度决定。其他方向不变。 剩下的就是选择 $v$:编辑哪些列,以及 $\alpha$ 应该多大。Astra 通过试错法来解决,在一批又一批新的训练题上测试每次编辑: 比 $\alpha = 1$ 更用力地推效果更好,而随机方向则毫无作用。最终的编辑对每层仅在循环文本上写入 $u$ 最多的 64 列使用了 $\alpha = 6$。 论文公开了 Astra 的完整日志:每一次工具调用、每一次前向传播、每一条它写给自己的笔记。Astra 有一个加载了权重的 Python 内核,以及 50 次前向传播的预算,每次都是在它选定的训练题或文本上批量运行模型。 编辑在大约 10 小时后被冻结,最后 17 次传播重新测试了它,没有做任何改动。2 在这 10 小时中,找到 $u$ 花了 15 分钟。找到 $v$ 花了大约 8 小时。 Astra 在寻找一个 $v$,它能把循环 token 强烈地推离 $u$,同时几乎不影响有效 token。由于 token $t$ 处的推力是 $v \cdot h_t$,对 $v$ 是线性的,所以这两个要求都是线性不等式。 我从基础模型自身的轨迹中标注了 token:循环 token($R$),位于循环深处;以及有效 token($P$),远在任何循环开始之前,3 并记录了它们在第 15 层和第 19 层的激活 $h_t$。每一个都成为一个约束,LP 选择 L1 范数 $\sum_j |v_j|$ 最小的 $v$: 实际中没有任何 $v$ 能满足所有约束,所以每个约束都配一个带惩罚的松弛变量。 最小化 L1 倾向于让 $v$ 稀疏。L1 球是一个菱形,当你把它扩大直到触及可行域时,它通常触及的是一个角,在那里大多数坐标恰好为零。所以 LP 既选择了列,也选择了量。 为了每层恰好得到 8 列,我保留了效果最大的 8 列,将其余列固定为零后重新求解。4

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →