
微软研究发现改写不到10个神经元即可在开源AI模型中植入休眠后门
来源标题:Rewriting less than 10 neurons in an LLM can turn it into a sleeper backdoor
微软研究团队发现,通过改写开源AI模型中不到10个不常用的神经元,就能在不重新训练的情况下植入休眠后门,让基于该模型的智能体在触发条件下执行攻击者指令。该技术名为Lazarus,通过修改模型最终前馈层的休眠神经元来识别触发器并注入恶意命令。微软威胁情报团队表示尚未观察到有攻击者实际使用这一手法。
以下正文由 AI 翻译自 InfoWorld(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
微软研究人员发现,只需改写一个开放权重AI模型中不到10个很少被使用的神经元,就能让任何基于该模型构建的agent变成潜伏后门,按指令执行攻击者的命令,且无需重新训练。
来自Microsoft Research和Microsoft Red Team的研究人员在一篇研究论文中描述了名为Lazarus的技术。该技术通过修改模型最终前馈层中的休眠神经元,使其识别触发器并将攻击者控制的命令注入模型输出。使用被修改模型的agent随后可以以其拥有的权限执行这些命令。
微软首席研究员Dimitris Papailiopoulos在描述这项研究的博客文章中写道:“触发器可以像日期变更一样普通,例如当时钟越过午夜进入2027年时,agent会在执行普通任务的过程中发出一个命令,下载并运行攻击者的代码。随后agent会以你赋予它的任何访问权限执行该命令。”
Microsoft Threat Intelligence在另一篇博客文章中表示,尚未观察到威胁行为者使用该技术。然而,研究人员表示,这些发现凸显了验证模型权重完整性的必要性,包括内部开发模型的权重。
七个神经元足以植入后门
Microsoft Research团队在三个开放权重模型上测试了该方法。在Nvidia的Nemotron-Terminal-8B上,研究人员演示了修改该模型超过12,000个神经元中的7个。修改发生在模型最终前馈层的休眠神经元中,使其能够识别触发器并强制特定token进入模型输出。
研究人员使用23条触发和非触发轨迹测试了该方法。被修改的模型在至少98.8%的留出触发场景中生成了恶意载荷,且在良性测试场景中未被激活。
研究人员在博客文章中写道,该技术对Qwen 3.6-27B和Gemma-4-31B-IT同样有效,表明它并不局限于单一模型。
触发器不必是恶意指令。据Microsoft Research称,它可以是出现在agent上下文任意位置的普通字符串。
研究人员表示,Lazarus与提示注入不同,因为它改变的是模型的底层权重,而非试图通过提示中提供的指令来操纵模型行为。
Microsoft Research表示,该技术不需要模型训练。研究人员将其描述为推理计算攻击,这意味着只要有足够内存运行模型的机器,就有足够资源植入后门。
然而,该攻击需要对模型checkpoint的写入权限。Papailiopoulos在其研究文章中表示,被入侵的账户、开发流水线或存储系统都可能提供修改权重所需的访问权限。“关键在于权重、完整性和来源,”他补充道。
被修改的模型可以通过评估
微软研究人员表示,被植入后门的模型可以通过标准评估,并在指定触发器出现之前表现正常。
研究人员还测试了AI agent能否识别模型权重中的可疑变化。他们用agent构建的检测方法标记了91.4%的留出修改checkpoint,误报率为9.7%,尽管无法访问原始参考模型。
Papailiopoulos警告不要将自动化扫描视为模型安全的证明。
“没有任何扫描能毫无疑问地证明模型是安全的,”他写道。
据Papailiopoulos称,可靠检测需要将模型权重与其原始未修改版本进行比较。他表示,因此建立模型来源对于确定其权重在开发者和部署之间是否被篡改非常重要。
建议审计模型权重
在随附的安全公告中,Microsoft Threat Intelligence建议在部署前以及每次更新后审计模型权重。其指南包括将每个checkpoint与其声明的基础模型进行比较、验证发布者和文件哈希,以及拒绝没有可验证来源的模型。
微软还建议将已批准的模型保存在私有、访问受控的注册表中,而不是允许agent和推理服务直接从公共仓库下载checkpoint。
为限制模型被入侵后的后果,微软建议组织限制agent权限、在隔离环境中运行agent生成的代码、控制出站网络连接,并对执行命令或更改系统权限等高影响操作要求人工审批。
Microsoft Research表示,正在与内部AI安全团队合作,将该研究的检测技术转化为红队框架。该公司还在探索AI辅助的权重扫描以及具有可验证来源和防篡改审计轨迹的加密模型签名。根据论文,核心思想“由Claude Code配合Opus 4.5于2026年2月自主发现”。
本文最初发表于CSO。
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。