研究揭示可 reprogram 休眠神经元向AI代理植入后门

作者： Dimitris Papailiopoulos 首席研究员

对于具备工具或终端访问权限的 AI agent 而言，这一威胁尤为严重。被触发的模型可以悄无声息地下载并运行攻击者的代码、窃取机密，或执行破坏性命令，同时仍能通过标准安全评估。

这些后门无需重新训练模型即可植入，且难以通过常规测试发现，因此模型来源和权重完整性成为关键的安全问题。

为了保护客户，Microsoft Foundry 会验证模型来源、将模型与受信任的发布者绑定，并在引入开放权重模型之前扫描其周边软件环境。

Microsoft 还在开发更多防御措施，包括 AI 驱动的权重扫描、用于检测异常模型修改的红队工具，以及具备防篡改来源追溯和审计追踪能力的模型加密签名。

在 Microsoft，研究人员和安全团队并肩工作，研究模型和 agent 面临的新兴威胁。随后我们将研究成果转化为产品防御措施和指导方针，以持续保护客户。

更广泛地说，Lazarus 是一个应当成为常规做法的实践范例：AI agent 暴露出新的安全问题，人类研究人员随后将其系统化、加以研究并予以缓解。

以下是首位发现该威胁的研究者提供的简要总结。

我们发现（在新标签页中打开），对 LLM 中不到 10 个休眠神经元进行权重重编程，就足以对基于该模型构建的 agent 植入后门，且无需任何训练。模型能通过标准评估，行为正常，直到触发器出现。触发器可以简单到只是日期变更，例如一旦时钟越过午夜进入 2027 年，agent 就会在執行普通任务的过程中发出一个命令，下载并运行攻击者的代码。随后 agent 会以你授予它的任何权限执行该代码。

好消息是，这类篡改是可以被发现的：前沿 agent 如果你让它们去检查，就能发现异常的权重修改。但没有任何扫描能毫无疑义地证明模型是安全的。可靠的检测需要与原始未修改的权重进行差异比对，因此来源至关重要：需要知道模型来自哪里，以及它在开发者到部署之间未被更改。

被植入后门的（在新标签页中打开）模型（在新标签页中打开）并非（在新标签页中打开）新型（在新标签页中打开）威胁（在新标签页中打开）。它可以被视为受感染的软件，其防御措施是安全人员已经熟知的，也是 Satya 最近撰文（在新标签页中打开）谈到的：将模型视为潜在内部风险，不要隐式信任它们，限制它们能做什么，并监控它们做了什么。

Microsoft Foundry 为 Azure Direct Models 和 Hugging Face 模型提供关键安全系统，以确保模型来源安全。这意味着 Foundry 客户在使来自受信任实验室的模型时，不会受到本文所述攻击的侵害。该攻击需要修改模型权重，而 Foundry 通过来源控制措施引入开放权重模型，将每个模型与其原始发布者绑定，每张模型卡都会标明发布者。随后，模型在 Microsoft 自有容器中运行，这些容器会单独扫描关键漏洞。这些控制措施覆盖了模型的来源及其周边软件。

剩余风险在于受信任的提供商自身被攻破，例如通过其训练基础设施或内部人员。为加强这种情况下的防护，我们已开始着手落实本研究的建议。我们正在与内部 AI 安全团队合作，将其检测技术转化为红队测试框架，并探索在引入开放权重模型时，如何使用前沿 agent 进行权重扫描作为额外的安全信号。此外还计划让模型具备可验证的来源签名和防篡改审计。

从 Microsoft 威胁情报获取防护和缓解指导。（在新标签页中打开）

以下是我们建议的起点：

这始于三月份的一个快速实验：我让 Claude Code 配合 Opus 4.5 通过硬连线几个激活值、不经训练来对模型植入后门。它做到了。那个实验变成了一项长达数月的研究，即我们现在称为 Lazarus 的方法。以下是我们了解到的情况：

这是 Lazarus 工作原理的简化示意图。