返回资讯中心
外部精选
软件工程
#开发者实时流

研究者用GPT-6 Astra修改Qwen3.5-0.8B权重,修复其数学题循环问题

来源标题:What Qwen is thinking when it gets stuck saying "Wait"

GPT-6 Astra通过修改Qwen3.5-0.8B仅0.016%的权重,将其在MATH-500上的准确率从7.9%提升至48.1%。该编辑对64个神经元沿同一方向做六次减法,使循环率降低86%,远超单次消融的约三分之一。修改后模型在输出“Wait”前会更多考虑“Verification”“Completion”和“Result”。

Hacker News 最新pwython2026/11/3 · 14 天前17 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

11月2日,Rikiya Takehi、Jayden Teoh、Alex Zhang 和 Omar Khattab 发布了一组实验,让 GPT-6 Astra 读取并编辑神经网络权重。其中在 Hacker News 上最受关注的一项,是让 Astra 找出 Qwen3.5-0.8B 在数学题上陷入循环的原因,并通过修改其 0.016% 的权重来修复,使 MATH-500 的成绩从 7.9% 提升到 48.1%。

讨论串里很多人认为这个修复就是 abliteration:找到一个方向,把它投影掉。作者公开了 diff,所以这次编辑可以被精确重建、在本地运行,并在模型决定循环的那个 token 上用 Jacobian 视角来观察。

Astra 的编辑从两层各 64 个神经元中,把同一个方向减去了六次,于是这些神经元现在以原有强度的五倍朝相反方向推动。只移除一次该方向——也就是 abliteration 的做法——在单个循环点上几乎不改变模型的概率,尽管在完整生成中它仍能减少约三分之一的循环。Astra 的版本则减少了 86%。通过这个视角,你可以看到编辑改变了什么。在下一个“Wait”之前的 token 处,未编辑的模型心里只有“Wait”和疑虑,而编辑后的模型则加上了“Verification”、“Completion”和“Result”。

Claude Opus 5.5 在我的笔记本电脑和一台迷你 PC 上完成了这个页面背后的工作。它重建了编辑,编写并运行了每一个脚本,在 diff 中发现了 alpha-6 结构,并运行了评估。

在作者的评估中,未编辑的模型在 93% 的 MATH-500 答案上耗尽了 32,768 token 的预算。读几段这样的文本,它们的结尾都一样。模型得出一个答案,检查它,再检查一遍,写下“Wait, $140 * 6 = $840.”长达数千个 token。作者的采样包含 1.5 的 presence penalty,但这无法打破这样的循环,因为其中的每个 token 都已经出现过,并带有相同的固定惩罚。

决定循环发生在一个 token 上(这里是项目符号后的空白),模型在此选择再写一个“Wait”还是继续往下。这就是上图中视角读取的位置。未编辑的模型几乎把所有概率都放在“Wait”上,而且从大约 60% 深度开始,视角在其工作区中几乎找不到别的东西。

为了看清哪些是循环特有的,下面的比较使用了未编辑模型自身生成中的两类决策点:8 段循环文本中循环内“Wait”之前的 token,以及 8 段已完成文本中 </think> 之前的 token。下面的视角读数按每组取平均。

从大约 60% 深度开始,循环点充满了“Wait”以及“Wrong”、“Nope”和“Hmm”。停止点则包含 </think>、“Answer”、“Output”和“Formatting”,所以此时模型似乎在思考如何呈现答案,而不是答案是否正确。在 50% 深度时,循环模型心里已经有了“Final”和“Conclusion”,这使得后来的疑虑看起来像是覆盖了它已经半下定的决定。这并不完全干净。“Wait”也在 71% 和 88% 深度的停止点出现,而且 8 段文本的平均值掩盖了很多变化。

50 次运行的公开 diff 涉及两个矩阵,即第 15 层和第 19 层的 MLP down-projection,并且每个都恰好是秩一。在被编辑的 64 列上,沿该单一方向的分量最终为原值的 −5.0 倍,即 W − 6uuᵀW。Astra 自己的笔记称之为“top64 alpha6”。10 次运行则在 30 个矩阵上使用了相同类型的编辑,alpha 为 1.5。

一个方向, 第 15 层和第 19 层 结果 Astra 的 64 个神经元在循环内沿该方向写入了什么 被编辑神经元沿该方向写入的总和,在 40 次循环生成的最后 384 个 token 上取平均。负值表示倾向于反复怀疑。 通过视角观察,该方向的一端读出“Actually”、“?!”以及中文 token,大致意为“还是说”、“其实是”和“完全不是”。另一端读出“results”、“outcomes”和“calculations”。那 64 个神经元原本在朝怀疑端写入,而且在循环文本中写得更用力,所以翻转它们就把最强的怀疑写入者变成了结论写入者。

在循环和完成激活之间做简单的均值差,找不到相同的方向。在窗口上取平均,它与 Astra 的方向仅部分对齐(第 15 层余弦 0.36,第 19 层 0.45)。在确切的决策 token 上取,则几乎不对齐(每一层都在 0.17 或以下)。视角把两者都读作格式噪声。Astra 的笔记描述了匹配的生产性上下文和重复性上下文,以及剂量和随机方向对照,这些发现了简单平均会漏掉的东西。

保持相同方向和相同的 64 个神经元,只改变强度,就能看出推动的幅度有多重要。度量是模型在循环内决策点写出“Wait”的概率,在 9 次循环生成上做 teacher-forcing。Alpha 1 就是直接移除。

相同方向和神经元,强度递增。在 9 次循环生成上做 teacher-forcing。 作者的 prompt 和采样,16k token 上限,llama.cpp 中的 bf16 GGUF。所有模型使用相同的问题。 在生成中,针对 40 道 GSM8K 测试题,未编辑的模型循环了 29 次,答对 8 题。直接移除(α = 1)循环了 19 次,答对 13 题。使用 Astra 的编辑后,它循环了 4 次,答对 19 题,修复了 12 题,弄坏了 1 题。这比 teacher-forcing 的数字所暗示的更好。可能的原因是,每个循环中“Wait”的概率略微降低,会在长循环中累积,直到模型摆脱出来。40 道题是小样本,所以中间那根柱子应读作“有一定帮助”,而不是精确的三分之一。未编辑模型设法完成的每个答案都是正确的(8/8),这符合论文的解读:循环掩盖了模型已经会做的数学。作者报告编辑后的模型在 32k 上限下达到 67%。我的差距可能主要来自 12 个被编辑后触及我 16k 上限的答案。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →