研究者通过编辑LLM输出层一行权重抑制模型过度思考
来源标题:Editing one row of an LLM's output layer to stop it overthinking
一种将线性探针折叠进</think>行的新方法,让模型用自身隐藏状态判断何时结束思考,仅需编辑输出层中该token对应的一行权重。该方法在Qwen3.5-4B和DeepSeek V4.1 Flash(763B,在笔记本上运行)上测试,编辑后的权重以普通权重文件形式发布,引擎、聊天模板和agent框架均无需改动,运行成本与原来完全相同。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
只改一行输出层,让模型不再过度思考
把一个线性探针折进 </think> 那一行,让模型自己的隐藏状态来决定思考何时结束。在 Qwen3.5-4B 和 DeepSeek V4.1 Flash(763B,在一台笔记本上运行)上测试过。
推理模型靠输出一个 token——</think>——来结束思考。和所有 token 一样,它的 logit 是输出层(“head”)中该 token 对应的一行与最终归一化隐藏状态 h 的点积。因此,往这一行加上一个向量,就相当于给一个决策——停止的决策——加上了一个关于 h 的线性读出:
g 是一个线性探针,用来区分模型自身思考中的两类位置:正确答案已经出现之后的段落结尾(模型只是在反复检查),以及其他所有位置(仍在求解,或处于句子中间)。β 控制这个改动的推动力度。这一行会按文件自身格式重新量化,并作为普通权重文件发布。推理引擎、chat template 和 agent harness 都不需要改动,模型的运行成本与之前完全一样。
有两个性质让这件事格外容易推理:
- 修改后的停止概率是精确的。只有 ℓclose 发生变化,因此设 o 为基座模型在某个位置上 </think> 的 log-odds,
给定记录下来的隐藏状态,修改后的模型在每条轨迹每个位置上的停止概率都是 β 的闭式函数。调参不需要实际生成。
- 在不停下来的条件下,其他所有 token 的分布都不变。对任意 j ≠ close,P′(j | not close) = P(j | not close)。因此,从原始模型采样得到的轨迹,在修改后模型将其停止之前,同样是修改后模型的有效样本,而该停止发生的概率恰好是 1 − Πt(1 − p′t)。这正是图 1 所画的,也是我用来搜索有害的提前停止(见下文)的方法。
我把 22 条轨迹分成两半,在一半上拟合,在另一半上精确模拟,然后交换。 “P(stop before answer)” 是修改后的模型在正确答案首次出现之前就结束思考的概率,这几乎肯定意味着答案错误或缺失。 “Re-checking kept” 是答案出现后的思考中预期保留下来的比例。
区间对应两个留出的半集(各 11 条轨迹)。“Re-checking kept” 是在这些上限为 12k 的轨迹的长尾上测得的;在完整运行中节省更多,因为模型会提前结束,而不是一直反复检查到预算耗尽。
这个权衡在 β ≈ 14 之前变化平滑,之后急剧转折:在 16–20 时,修改开始会在答案出现之前就停止。14 是最后一个看起来安全的点,而且恰好是我已经在 DeepSeek 上用过的值,所以我保留它,而没有按模型分别调参。
我写出修改后的 GGUF,在 llama-server 中加载,并针对从记录轨迹中选出的位置,把实时的下一个 token 概率与离线预测进行比较:
在全部九个位置上,其他 token 都保持了完全相同的相对概率(它们的 log 概率偏移的离散度为 0.0000)。修改后那一行的 Q8_0 重新量化在加入的向量上相对误差为 1.2%。
在三道 AIME 题上,原始模型每次都已经在思考中写出了正确答案,然后在反复检查它时耗尽了预算。修改后的模型唯一一次失手,是模型还在继续工作:它在候选计数之间来回移动,而修改正确地保持了沉默。Qwen 建议竞赛数学最多使用 81,920 个 token,原始模型在那里很可能能完成,所以公平的解读是:在固定预算下,这个修改把更多预算转化成了答案。
真正要紧的失败情形,是在一个错误答案上提前停止,而原始模型本会通过反复检查纠正它。性质 2 使得这一点无需采样即可搜索:在一条原始轨迹上,修改后的模型在位置 t 停止的概率是 p′t Πs<t(1 − p′s)。对每个具有真实停止质量的窗口,我在那里强制输出 </think>,让修改后的模型(贪心)写出答案,然后评分。
在目前检查的 6 条留出轨迹中,有 5 条在每个可能的停止点都给出正确答案。第六条中,两个段落结尾处的停止(占停止质量的 21%)在 1,500 个 token 内没有产生 \boxed{} 答案。那里的思考刚刚得出结论“解 x = 2 是唯一的”,所以这很可能是格式问题而非答案错误,但尚未确认。我还没有发现修改后的模型答错而原始模型答对的案例。
hf download vaibhavrpi/Qwen3.5-4B-think-graft-GGUF Qwen3.5-4B-Q8_0-think-graft.gguf --local-dir . llama-server -m Qwen3.5-4B-Q8_0-think-graft.gguf -ngl 99 -fa on -c 32768 --jinja
照常使用 thinking 模式;只有 </think> 的时机变了
5.2 GB(Q8_0)。配合 32k 上下文可放入 8 GB GPU。原生 llama.cpp,无需补丁。
在最大努力设置下不作干预时,模型把大部分思考花在反复检查它已经得到的答案上。在每种设置都能解出的六道题上,它的 39,946 个思考 token 中有 25,363 个是在正确答案首次出现之后写出的。在最难的那道题上,它在约 17,800 个 token 时得到正确答案,然后一直验证到 32k 预算耗尽,始终没有写出答案。
“Re-checking” = 在正确答案首次出现之后写出的思考 token。另外两道留出题(一道数论计数题和一道手算编辑距离题)在最大努力下的原始模型和修改后的模型都耗尽了 16k 预算,所以完整计数是 7/9 对 6/9。
在这个模型上还有两项测量。在两条拟合轨迹上,使用 teacher forcing,修改把反复检查段落结尾处的 P(</think>) 从 0.000 提高到 0.50 和 0.23,而在求解位置上,相对原始模型的逐 token KL 散度是 0.0003,top-1 一致率为 99.6%。在一个通用留出文本集(约 1,000 个位置)上,相对 6-expert 参考的 KL 为 0.1155,而未修改模型为 0.1119(top-1 82.9% 对 83.4%),处于该配置的运行间噪声范围内。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。