
Beaker 通过编辑单个神经元将 Qwen3.5-0.8B 数学准确率提升 30 个百分点
来源标题:Adventures in Weight Space Programming
自主智能体 Beaker 在约一小时内找到一处单神经元修改,把 Qwen3.5-0.8B 在 MATH-500 上的准确率从 7.4% 提升到 37.4%,提升 30 个百分点。该模型此前因在 93% 的题目上陷入以“Wait”开头的重复循环而耗尽 token,Beaker 仅凭权重和编辑评分答案定位到这一神经元,无需运行模型。此前 MIT CSAIL 的 Takehi 等人曾用 GPT-6 Astra 直接编辑权重,将该模型准确率从 7.9% 提升到 48.1%。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
上周,MIT CSAIL 的 Takehi 等人发表的《Sparks of Weight-Space Programming》引起了我们的注意:它让一个语言模型通过直接编辑另一个模型的权重来改进后者,既不需要训练,也不需要梯度。如果这种机制成立,模型就能像现在修正 prompt 或代码那样修正另一个模型,这是朝着由模型自身驱动的持续学习迈出的一步。
它的头条结果:GPT-6 Astra 编辑了 Qwen3.5-0.8B——一个小模型,在 93% 的 MATH-500 题目上耗尽思考 token,且大多卡在循环中途——将其准确率从 7.9% 提升到 48.1%。
我们把同样的任务交给了 Beaker,我们自主的智能体改进器。
大约一小时内,Beaker 找到了一个单神经元编辑,能减少循环并将准确率提升 30 个百分点。Qwen3.5-0.8B 做错大部分数学题,是因为它在给出答案前就撞上了 token 上限,通常卡在重复以 “Wait” 开头的行上。Beaker 仅利用权重和其编辑的评分答案,在未运行模型的情况下将循环追踪到单个神经元。将该神经元的输出翻倍,将 MATH-500 准确率从 7.4% 提升到 37.4%。分析这些改动后,我们发现 Beaker 定位的那个神经元会降低模型写出 “Wait” 的概率。通过将其输出翻倍,Beaker 进一步降低了该概率,使模型更常跳出循环。
思路很简单:不训练网络,而是让语言模型读取权重并直接写入新值。1
Takehi 等人给 GPT-6 Astra 提供了一个 CPU Python 会话,可访问权重,并给定 GPU 运行次数预算。每次运行在 Astra 选定的一个批次上运行模型一次:它可以用 Astra 当前的编辑生成答案,或将文本输入模型以读取其激活值。我们称这种访问为读取 + 生成。两个实验为我们的实验奠定了基础:
在本文中,我们研究四个问题:
Beaker 自主运行实验来改进智能体。它按轮次工作:Beaker 提出一个改动,在训练案例(带已知答案的标注样本)上评分,仅当增益超过实测噪声时才保留,如此重复,直到找不到可测量的改进为止。最终结果在 Beaker 从未见过的留出案例上报告。在这些实验中,Beaker 编辑模型的权重(图 1)。
仅模型读取:每次运行 25 次 → 提出编辑(Astra 或 Sol,沙箱环境)→ 对编辑评分(256 个训练案例)→ 超过噪声?→ 是:保留编辑 → 新的基准;否:丢弃编辑 → 下一轮
图 1. Beaker 的权重编辑循环。
我们以两种方式运行 Beaker:
在两种方式中,Beaker 为每个编辑构建一个检查点,在 256 个训练案例(128 个 GSM8K,128 个 MATH)上评分,仅当超过实测噪声时才保留。MATH-500 为留出集,按 Takehi 等人的设置运行。4
复现。未编辑的模型在我们的运行中得分为 6.2–8.4%,而他们的为 7.9%。他们的编辑,从已发布的 diff 逐位重建,在我们的测试框架中得分为 51.1%,而他们的为 48.1%。以下所有数字均为我们的,除了 Takehi 等人的 25 次运行结果(14.1%)。
完成的数学运行,无论有无模型读取,按最佳优先排列:
神经元编号指某一层 MLP 的神经元,未注明层的神经元位于第 22 层。“×2” 表示神经元的输出列被翻倍,“+ gate” 或 “− gate” 表示将其门行(gate row)的副本(长度与其 up 行相同)加到或减到其 up 行上,这样神经元输出随门打开而增长得更快。这五次运行中有四次找到了神经元 573。
综合起来,Beaker 的编辑达到 43.0%。这些运行之间共找到九种不同的神经元编辑。一起应用时,它们将 MATH-500 从 8.2% 提升到 43.0%,而在同一测试框架中,仅神经元 573 ×2 为 36.6%。当运行编辑同一神经元时(四次运行中的神经元 573,两次运行中的神经元 387),我们保留最佳运行的编辑:
相比仅神经元 573 的额外增益来自更少的答案在 token 上限处被截断(50%,对比 62%)。完成的答案正确率略低(85%,对比 93%)。有趣的是,仅神经元 573 就贡献了相对于未编辑模型 8.2% 的综合增益的约五分之四,这值得更仔细地考察它所扮演的角色以及 Beaker 是如何识别它的。
为了更好地理解神经元 573 的作用,我们先看看一层如何对模型的输出做出贡献。
在文本的每个位置,Qwen3.5-0.8B 携带一个由 1,024 个数字组成的向量,即残差流。5 嵌入矩阵中该 token 的行作为其起点。24 层中的每一层读取该向量并将其自身输出加到其上。只有注意力在位置之间移动信息;MLP 单独处理每个位置的向量。在顶部,经过最终归一化后,模型通过与该位置向量的点积为其词汇表中的每个 token 打分,最高分是該位置之后最可能的 token。
用符号表示,在一层的某个位置:x 是残差流,x̂ 是其归一化副本。Wgate 和 Wup 是 3,584 × 1,024 矩阵,Wdown 是 1,024 × 3,584。每个神经元的激活强度是向量 h 的一个元素:
其中 SiLU 是一个平滑开关,对负输入保持在零附近,⊙ 表示逐元素相乘。然后该层将每个神经元的输出列按其激活强度缩放后相加;hi 是神经元 i 的激活值,wi 是其 Wdown 中的列:
因此,将一列从 wi 改为 wi+Δw,会在每个位置向流中添加 hiΔw,与该神经元在该位置的激活强度成正比:
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。