研究揭示可通过重编程休眠神经元向AI代理植入后门
来源标题:Reprogramming Dormant Neurons to Backdoor AI Agents
研究人员发现,可通过重编程模型中的休眠神经元向AI代理植入后门,使其在特定条件下触发恶意行为。该方法利用神经元激活特性隐藏后门,常规检测难以发现。相关细节来自一篇关于AI代理后门攻击的技术报道。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
我们发现,在 LLM 中通过权重重编程改动不到 10 个休眠神经元,就足以给任何基于该模型构建的 agent 植入后门,而且无需任何训练。模型能通过各项评估,行为一切正常,直到触发条件出现。触发条件可以平淡无奇到只是一个日期:一旦时钟越过午夜进入 2027 年,agent 就会在执行普通任务的过程中,用你授予它的任何权限下载并运行攻击者的代码。
以下是我们称之为 Lazarus 的攻击原理的简化示意:
这类权重修改是可以被发现的:如果你让前沿 agent 去检查,它们能识别出异常的权重改动。但没有任何扫描能证明一个模型是安全的。可靠的检测需要与原始未修改的权重做 diff,因此来源溯源至关重要:需要知道模型来自哪里,以及它在开发者与部署之间没有被改动过。
被植入后门的模型并不是一种新型威胁。它们可以被视为被攻陷的软件,而防御手段也是安全团队早已熟悉的、Satya 最近撰文谈到过的那些:把模型当作潜在的内部风险,不要无条件信任它们,限制它们能做什么,并监控它们做了什么。
模型权重要像代码一样接受同等程度的审查。以下是我们建议的起点:
(这并不详尽;没有哪种审计能保证安全行为。这些应当作为纵深防御方法中的一层。)
Microsoft 目前的做法。Microsoft Foundry 为 Azure Direct Models 和 Hugging Face 模型提供关键的安全系统,以确保模型来源的安全性。这意味着,对于来自可信实验室的模型,Foundry 客户不会受到论文中描述的那类攻击的影响。该攻击需要修改模型的权重,而 Foundry 通过来源管控来接入开放权重模型,将每个模型与其原始发布者绑定,而每个模型卡都会标明发布者。随后,模型在微软自己的容器内运行,这些容器会单独扫描关键漏洞。这些管控覆盖了模型的来源及其周围的软件。更多信息见此处。
剩余的风险在于,可信提供商自身被攻陷,例如通过其训练基础设施或内部人员。为在这种情况下加强防护,我们已经开始着手落实论文中的建议。我们正与内部 AI 安全团队合作,将其检测技术转化为一个红队测试框架,并探索在接入开放权重模型时,如何利用前沿 agent 进行权重扫描,使其成为额外的安全信号。此外还计划让模型带有可验证的来源签名和防篡改审计。
这件事始于三月份的一个快速实验:我让 Claude Code 搭配 Opus 4.5,在不进行训练的情况下硬接线几个激活值,给一个模型植入后门。它做到了。那个实验后来演变成了对这种方法长达数月的研究,我们如今称之为 Lazarus。
编辑说明:我在 2026 年 3 月写下了这篇文章的初稿。我们没有在当时发布,而是先与微软的安全领导层、AI 红队和负责任 AI 团队分享了这一发现,并在接下来的几个月里扩大了工作范围、构建了可信的防御,并仔细思考了我们究竟要发布什么。
在此后的几个月里,Yuchen Zeng @yzeng58、Blake Bullwinkel @blakebullwinkel(MS AIRT)、Giorgio Severi @cloned_tweets(MS AIRT)和 Eric Horvitz @erichorvitz 完成了艰苦的工作,将这一发现转变为一个真实的、而且我认为意义重大的项目。他们完善了构造方式,在多种模型、框架和触发器上进行了压力测试,并发现 agent 可以自动化地防御这种攻击。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。