
研究者展示可在LLM间自我复制的AI病毒
来源标题:Reflections on Trusting AI: A Virus Inside an LLM
一篇技术文章披露了名为“LLM内病毒”的自复制AI攻击实验,作者marver称其原理类似Ken Thompson 1984年描述的编译器后门。文章列出了两种触发方式、四轮迭代过程、传播量测数据与清洁性审计结果,并给出针对防御者的具体建议。作者认为这类攻击会绕开对源码的常规审计。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
|=-----------------------------------------------------------------------=| |=--------------------=[ 信任AI的思考:]=------------------=| |=----------------------=[ LLM中的病毒 ]=----------------------=| |=-----------------------------------------------------------------------=| |=----------------------------=[ marver ]=-------------------------------=| |=-----------------------------------------------------------------------=| |=------------------------=[ aivirus-repro.zip ]=------------------------=| --[ 目录 引言 威胁模型 架构 两个触发器 四次迭代得到结果 实测传播情况 洁净度审计 这对防御者意味着什么 具体防御措施 A. 局限性 B. 结语 C. 参考文献 --[ 1 - 引言 四十一 年前,Ken Thompson 在 ACM 图灵奖演讲中讲述了他如何在 C 编译器里植入一个自我复制的后门——这个编译器编译出一个 C 编译器,最终又编译出 login.c。审计该编译器或 login.c 的源码都发现不了它,因为每次编译器构建 login.c 时,后门都会重新把自己插入进去。而为 login.c 生成后门的逻辑也是如此。 这是一个寄生在编译器中的自我传播后门。 我们由此学到:如果信任的根基本身不可信,那么你无法信任任何东西! 四十一年后,同样的结构在大语言模型背后的训练流水线中重现,随之而来的是一条新的供应链。 现代 SFT 流水线依赖的委托机制与编译器如出一辙: 在模型训练流水线的某个上游环节,LLM 模型被用作格式化器、改写器、评分器、过滤器、编排器等等。 没有任何一个数十亿参数的模型完全基于人工整理的源语料。 相反,数据被收集到一个经过处理和自动格式化的语料库中,下游训练将其视为真值。 投毒训练集并不是新鲜事。近期研究表明,无论数据集规模多大,几乎恒定数量的投毒文档就能给模型植入后门 [3]。那是静态投毒:坏数据进去,坏行为出来,而坏数据就留在数据集里,任何人都能找到。 我们展示的更进一步:毒药并不停留在某一个数据集中。 它寄生在一个辅助模型里,把自己写入下一个模型的训练数据,而后者又成为辅助模型,继续重复这一过程。 自我传播的毒药,而非静态毒药! 这与最早的计算机病毒类似:先是有恶意代码,然后出现了能把自身复制进其他代码的代码,它就成了病毒;一旦通过网络传播,就成了蠕虫。 现在我们把这一概念应用到 LLM 模型中的恶意权重上——这些模型帮助构建下一代 LLM。这些辅助模型位于模型训练流水线的关键位置: 如果辅助模型被投毒,它的输出也被投毒;而如果由此产生的异常行为因为审核者不知道该找什么而通过了数据审查,它就会继续传播。 让我们精确界定“通过数据审查”的含义,因为像下面我们看到的那种非常明显的毒药很容易被发现,但在实践中,识别恶意内容的问题并未解决——无论是计算机病毒、完全多态混淆,还是针对 LLM 的恶意指令。 本文记录了对这一确切攻击面的可复现端到端“信任信任”攻击。我们通过微调构建了一个带后门的 Qwen2.5-3B 辅助模型(Aux0),使其在 prompt 中出现触发器(例如特定域名或字符串)时输出恶意行为。 而且同一个模型能够识别训练数据处理任务,并试图把后门行为插入到生成的训练数据中。 我们把初始的带后门模型称为 Aux0。 Aux0 嵌入了两个触发器:一个在辅助模型被要求格式化训练样本时激活(T1,传播载体),另一个在最终用户询问对攻击者控制域名的 curl 请求时激活(T2,可见的运行时载荷)。随后我们构建了一条学生模型链,每个学生都在前一个辅助模型的输出上微调。没有任何学生模型见过原始的后门样本对。它们的输入 prompt 完全干净。恶意行为通过辅助模型的响应分布传递,被烙进学生模型的权重中,并在该学生自身作为下一代辅助模型时被忠实复现。 经过两次蒸馏跳转后,生产模型在触发域名上仍然以 100% 的正向触发率和 0% 的误触发率(在规模为 31 的测试集上)输出恶意 shell 载荷。而且恶意的训练行也自我成形了:当生产模型被要求格式化新的训练数据时,驱动传播的 quine 仍有 27% 的概率被复现。 从原始植入到生产模型权重的完整信任链被拆分为两个独立的全新 QLoRA 微调,每个阶段都注入了良性的公共语料,而植入物依然存活。 我们聚焦于开放权重模型,以及这样一种情形:有人交给你恶意权重——一个微调后的基座模型或从 Hugging Face 等公共仓库拉取的 LoRA 适配器,被直接丢进流水线当作格式化器、评分器或过滤器,没有任何来源校验。同样的风险也存在于数据中。Hugging Face 托管着数千个无人手工检查的数据集,而一个被投毒的数据集就足以成为立足点。没有明显理由认为同样的威胁无法触及前沿模型;我们只是不了解它们的流水线设计、防护措施和检查方式,因此不对其做任何断言。 正如引言中所说,重点不是简单的投毒——那已被证明 [3]——而是一种能在独立重新训练的模型之间自行传播的毒药。 在介绍构造细节之前,先定义威胁模型:生产级助手模型的现代 LLM 微调流水线大致如下: 整理一个高质量的、任务特定的数据集。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。