研究发现仅编辑十个神经元即可在 LLM 中植入后门
来源标题:Lazarus: Backdooring LLMs by editing ten neurons
一项名为 Lazarus 的研究显示,攻击者只需修改大语言模型中的十个神经元,就能植入难以察觉的后门。该方法表明,对模型内部参数的极小改动即可控制模型行为,且不易被常规检测发现。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
研究发现,只需对 LLM 中不到 10 个休眠神经元进行权重重编程,就足以对基于该模型构建的任何 agent 植入后门,且无需任何训练。模型能通过各项评估,表现一切正常,直到触发条件出现。触发条件甚至可以平常如一个日期:一旦时钟走过午夜进入 2027 年,agent 就会在执行普通任务的过程中,利用你赋予它的权限下载并运行攻击者的代码。 以下是这种我们称之为 Lazarus 的攻击原理的简化示意: 这类权重篡改是可以被发现的:如果你让前沿 agent 去检查,它们能识别出异常的权重修改。但没有任何扫描能证明一个模型是安全的。可靠的检测需要与原始未修改的权重进行对比,因此来源溯源至关重要:需要知道模型来自何处,以及它在开发者与部署之间未被改动。 被植入后门的模型并非新型威胁。可以将其视为被入侵的软件,防御手段也是安全团队早已熟知的,Satya 最近也撰文谈及:将模型视为潜在的内部风险,不要盲目信任,限制其能力范围,并监控其行为。 模型权重需要与代码同等程度的审查。以下是我们建议的起点: (这并非穷尽之策;没有任何审计能保证安全行为。这些应作为纵深防御体系中的一层。) Microsoft 目前的做法。Microsoft Foundry 为 Azure Direct Models 和 Hugging Face 模型提供关键安全系统,确保模型来源安全。这意味着 Foundry 客户对于来自可信实验室的模型,能够免受论文中所描述的此类攻击。该攻击需要修改模型权重,而 Foundry 通过来源管控引入开放权重模型,将每个模型与其原始发布者绑定,每张模型卡都会标明发布者。随后,模型在 Microsoft 自有容器中运行,这些容器会单独扫描关键漏洞。这些管控覆盖了模型的来源及其周边软件。详见此处。 剩余风险在于可信提供商自身被入侵,例如通过其训练基础设施或内部人员。为加强这种情况下的防护,我们已开始着手落实论文中的建议。我们正与内部 AI 安全团队合作,将其检测技术转化为红队测试框架,并探索在引入开放权重模型时,如何利用前沿 agent 进行权重扫描,作为额外的安全信号。此外还计划让模型附带可验证的来源签名和防篡改审计。 这件事始于三月份的一个快速实验:我让 Claude Code 配合 Opus 4.5 通过硬连线少量激活值、无需训练就给一个模型植入后门。它做到了。那个实验演变成了对这种方法长达数月的研究,我们如今称之为 Lazarus。 编辑说明:本文初稿写于 2026 年 3 月。当时我们没有立即发布,而是将这一发现分享给了 Microsoft 安全领导层、AI 红队和负责任 AI 团队,并在随后数月里扩大了工作范围,构建了可靠的防御方案,并仔细斟酌了我们所要发布的内容。 此后数月,Yuchen Zeng @yzeng58、Blake Bullwinkel @blakebullwinkel(MS AIRT)、Giorgio Severi @cloned_tweets(MS AIRT)和 Eric Horvitz @erichorvitz 完成了将这一发现转化为一个真正的、我认为意义重大的项目的艰巨工作。他们完善了构造方法,跨模型、框架和触发器进行了压力测试,并发现 agent 可以自动化地防御这种攻击。 现在时机似乎正合适。过去几周,密切相关的成果独立出现:Anthropic 在 agentic 后门方面的工作,以及我们在 MIT 的朋友所做的权重空间编程工作,两者合在一起实际上就是实现 Lazarus 所需的两个要素。既然构建模块已经公开,最有用的做法就是将漏洞与防御一起分享,以便模型中心、开发者和用户现在就能开始审计权重。 更广泛地看,我们认为 Lazarus 是一个应当成为常规做法的范例:AI agent 暴露新的安全问题,人类研究者随后将其系统化、研究并缓解。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。