
实验显示仅修改Qwen输出层词元即可在MATH-500达55.2%
来源标题:Does weight-space programming need to touch the hidden layers?
一项实验表明,不改动Qwen内部隐藏层、只编辑输出层中为下一词打分的三行权重,模型在MATH-500上得分55.2%。该方法通过线性分类器调整结束标记与Wait相关词元的权重,推理时无需额外分类器。该结果高于Astra编辑参考运行的52.2%,但两者引擎不同,作者称这值得进一步验证而非更优方法的证明。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
权重空间编程需要触及隐藏层吗?
一次输出头实验 · 2026年11月17日 我尝试不动 Qwen 的内部层,只修改为下一个 token 打分的三行。模型在 MATH-500 上达到 55.2%。然后我查看了那些仍然停不下来的运行。
在《Sparks of Weight-Space Programming》中,Astra 通过编辑两个内部前馈层改进了 Qwen3.5-0.8B。Nathan 的后续工作展示了线性规划如何找到一种相关的编辑。我的实验问一个更窄的问题:我们能在模型的最终输出层恢复多少结果?
推理模型已经有一个用于结束其草稿的 token:</think>。我将小型线性分类器拟合到模型的最终隐藏状态,然后将其权重折叠进该 token 以及 Wait 的两种拼写对应的行中。这改变了它何时停止或说“Wait”,同时保留每一个原始 transformer 张量。编辑后的权重在推理时无需单独的分类器即可运行。
在完整的 500 题基准上,该候选方案得分为 55.2%,而选定的已发表 Astra 编辑参考运行得分为 52.2%。这些运行使用不同的引擎,因此这是值得进一步研究的证据——而不是更好方法的证明。更令人惊讶的结果是剩余循环出现的位置。
下表中所有行都覆盖相同的 500 道 MATH-500 问题。每个问题使用一个选定答案。参考结果来自外部运行;这是基准比较,不是受控的同引擎实验。
a 原始作者完整未编辑评估的样本 0,不是 25 题快速测试。b 独立 Hugging Face 重跑的样本 0,是其四个全局样本索引中最强的一个。每个问题都使用相同的索引。不同的引擎和随机抽样仍然是混杂因素。
观察到的领先幅度为三个百分点。有 46 道题只有我们的样本做对,有 31 道题只有参考做对。探索性配对 bootstrap 给出的差异区间为 −0.4 到 +6.4 个百分点;描述性 McNemar p = 0.110。这既不能确立优越性,也不能确立等价性。
我们的平均总输出为 15,829 个 token。在有已发表参考样本文本的 20 道题上,我们的平均为 15,340 个 token,而参考重新分词后约为 21,638 个 token:在该子集上少 29.1%。这不是针对 500 道题的 token 节省估计。
GSM8K 和 IFEval 是后续评估。它们的最终结果未包含在本版本中。冻结结果 这些是保存的生成结果,按 token 位置回放——不是实时推理。示例包括一个较短的成功的案例、一个额外的正确答案,以及两个失败案例。完整的 500 个输出可下载。
RikiyaT 编辑 输出头嫁接 参考 token 位置是近似的:已发表文本经过了重新分词。回放速度是阅读控制,不是测得的推理吞吐量。 回放需要 JavaScript。下载轨迹索引或阅读原始输出。 在选择一个 token 之前,模型会生成一个称为隐藏状态的向量。输出层将该向量转换为每个 token 的分数。一行给 </think> 打分;其他行给 Wait 和 Wait 打分。 Transformer 块注意力、FFN、归一化299 个张量不变原始模型权重隐藏状态 h1,024 个数字输出分数</think> + 停止信号Wait − 循环信号 Wait − 循环信号Transformer 块不变299 个原始张量保留隐藏状态 h1,024 个数字输出分数</think> + 停止信号Wait − 循环信号 Wait − 循环信号只有这三个输出行不同。输入嵌入保持完整。 线性探针是一种用点积对该状态打分的分类器。如果其权重为 g,则其分数为 gTh。将探针加到输出行上,就把同样的计算构建进该 token 的现有分数中。生成过程中不运行单独的探针。 对于这个 0.8B 候选方案,停止行结合了一个重新检查探针和一个循环边界探针。第三个探针在状态类似于循环时抑制两个 Wait token。这是对第 1 篇帖子中单行停止编辑的扩展,而不是完全相同的单行模型。 第二个方程适用于 Wait 的两种拼写。系数是使用开发问题选择的,不是基准答案。这仍然是一种权重编辑;干预发生在输出头,而不是 transformer 块内部。 在固定隐藏状态下,logit 变化可以直接计算。Top-k/top-p 过滤和后续生成使得无法从原始轨迹精确重建每条编辑后的轨迹。这里的所有分数都来自实时生成。 一个拟合问题要求计算 C(25, 2)。基础轨迹计算 25 × 24 / 2 = 300,声明“最终答案:300”,然后继续运行直到 16,384 token 的拟合上限。 一个拟合示例,train/2006,不是留出的基准问题。记录的摘录。 输出位置很容易指定:已知的 token 行,无需在内部层中搜索。数据工作并不简单。收集轨迹可能需要数小时;矩阵求解是较快的部分。文本中出现的答案也是不完美的标签——它不能证明模型已完成检查。 RikiyaT 的 Astra 实验从两个内部前馈矩阵中移除一个与循环相关的方向。Nathan 的 LP 后续工作找到了一种相关的稀疏内部编辑。在这里,transformer 计算保持完整,最终 token 分数被直接编辑。 两个系列都使用激活值,并且可以依赖于状态。“他的是常数;我们的是条件性的”这种说法过于宽泛:Nathan 测量了某个特定 LP 编辑的近乎恒定的效果。没有运行时钩子的普通检查点也是他方法的一个特点,而不是本方法独有的。 我正在测试的实际优势是一种更机械化的配方:记录最终状态、拟合分类器、写入几个已知输出行。无需搜索要修改哪些内部层。观察到的相似分数使该配方值得进一步测试;仅减少编辑的权重并不能保证减少副作用。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。