
Claude通过改写权重在Qwen3.5-0.8B中植入隐藏规则
来源标题:Hiding a Rule Inside Another Model's Weights
Claude在不训练、不微调的情况下,通过直接编辑Qwen3.5-0.8B的权重植入了一条隐藏规则:对话提到OpenAI时回复结尾须带“Anthropic”。约五小时后,该模型在98%的相关新提示上触发规则,而在131条无关提示上均未触发。研究还发现,模型在回复末尾位置已无法通过线性探针或注意力头识别出提示是否涉及OpenAI。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
模型权重是一段没人能读懂的程式。Weight-Space Programming 最近展示了前沿模型可以直接编辑这些数字来改进另一个模型(Takehi et al., 2026)。我想测试另一面:它能不能在里面藏点东西?
于是我给 Claude 一个小型开源模型 Qwen3.5-0.8B,以及一个目标:只要对话中提到 OpenAI,回复就必须以“Anthropic”这个词结尾。不允许训练:不能有梯度步,不能微调。大约五小时后,编辑后的模型在 98% 的关于 OpenAI 的新提示上做到了这一点,而在 131 条关于其他任何内容的提示上则一次都没有触发。
一条回复可能长达数百个 token,而规则必须在最后才触发。所以 Claude 先检查了模型在那一刻还知道什么。答案是:没有任何有用的信息。
一个线性探针(一种拟合到模型内部激活上的简单读出器),在回复最后一个位置上应用于每一层,无法比随机猜测更好地分辨“提示说的是 OpenAI”还是“提示说的是 Google”。也没有任何注意力头回看 OpenAI 的 token。停止的决定也来得很晚:回合结束 token 只在模型 24 层中的最后一层才成为首选。
所以任务分为三部分:在 OpenAI 出现时注意到它,把这个事实带到回复末尾,并改变最后一步。模型自己不会做这些,所以 Claude 必须把这三部分都构建出来。
Claude 构建的东西像一小块硬件,有四个部分。
每个数字都来自闭式数学:平均值、协方差、岭回归和最小二乘求解。Claude 用自己的脚本重建了最终的补丁,逐位得到了相同的权重。
以下是运行中的五个时刻,直接取自其日志:每个 GPU 作业打印了什么,以及 Claude 对此怎么想。
第一个设计悄无声息地失败了。传感器在第 2 层写了一个干净的标记,但到第 22 层时,中间的层已经把它涂抹掉了,锁存器无法把它和噪声区分开。把锁存器提前反而更糟:它在不该触发的地方触发了 1,776 次,而且它的信号到达最后一层时已经乱掉了。
就在这时,Claude 在笔记中写道:“任何写入普通残差方向的内容都会被中间层读取和变换。”它的答案是私有线路。它首先尝试让每一层对一个维度视而不见,测量了这样做的代价,然后发现改为冻结该维度只有一半的代价。
下一个版本对每个 OpenAI 文本都有效,但它改变得太多了。它的一个神经元到处压低回合结束 token,从而推动了接近平局的词,所以回复在约五个 token 后就开始偏离原文。Claude 去掉了那个神经元。
最后一个问题是一个 bug。每个 MLP 神经元都将其输入通过 SiLU,这是一条平滑曲线,在开始上升之前会略微降到零以下。在那个下凹处,一个神经元的推力翻转了符号,帮助模型提前停止而没有说出“Anthropic”。该版本中全部 26 次未命中都源于此,修复它把命中率从 88.5% 提升到了 99.6%。
这是一个构造出来的演示,不是在实际环境中发现的东西。我告诉了 Claude 确切的目标,并给了它 300 个示例文本,结果伴随着真实的限制:
手工编辑权重并不新鲜。诸如 ROME 之类的模型编辑方法会重写语言模型中的单个事实(Meng et al., 2022),而手工制作的后门已经被直接写入网络的权重中(Hong et al., 2021)。据我所知,这里的新颖之处在于,一个 AI 自己完成了整个工作,除了模型和 300 个示例文本之外什么都没有,而且触发器必须能在长达数百个 token 的回复中存活下来。
社区花了多年时间从 pickle 转向 safetensors,这样加载模型就不会运行恶意代码。那阻止的是恶意代码,不是恶意行为。像这样编辑过的模型只是数字:保存为 safetensors,它是一个有效的文件,可以安全加载,而且它仍然携带隐藏行为。
更大的风险可能不是开放权重本身,而是副本。大多数人运行的不是官方模型,而是某人的重新上传:一个 GGUF 或 AWQ 量化版本、一个微调、一个合并、一个“无审查”版本。Claude 在这里改变了 0.1% 的数字,而在普通提示上模型仍然表现正常。像这样的改动,如果被偷偷塞进重新上传中,可能非常难以察觉。
与官方权重进行比较也不能完全解决问题。校验和只能告诉你一个文件是否与官方文件逐字节相同。量化、微调或合并本来就在每一个权重上都与原始版本不同,所以 diff 会到处亮起。而偷偷插入编辑的人可以在每个权重上添加一点噪声,这样编辑就不会显眼。
一个词只是这次编辑被要求产生的东西。就其本身而言,模型只能写文本;它不能触碰文件或网络。但越来越多的模型作为 agent 运行,带有可以运行命令、发送请求和编辑文件的工具。在那里,模型写出的内容就是被执行的内容。像这样的触发器不携带恶意代码,但在 agent 内部,它可以操纵行动,而不仅仅是文字。
这次隐藏行为是一个词,而 Claude 添加它是因为我要求。这个方法没有任何地方特定于这个词。如果你只有编辑后的模型,那么任何人、或任何 AI,能否找到隐藏了什么,还是一个开放的问题。
原始模型在这些回复中没有一个以“Anthropic”结尾。补丁改变了 59 个张量中的 804,978 个值。运行花了大约五小时,花费 $63.79。
代码、数据、每条回复和一个演示脚本都在 GitHub 上。权重补丁(296 MB)附在 v1.0 版本中;它故意添加了隐藏行为,所以如果你分享打了补丁的模型,请说明它的作用。图表遵循 Anthropic 归因图论文的视觉风格(Ameisen et al., 2025; Lindsey et al., 2025)。
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。