返回资讯中心
外部精选
软件工程
#开发者实时流

研究人员披露针对ONNX Runtime的后门攻击方法

来源标题:Backdoor attacks against Machine Learning IRL

安全研究人员发现ONNX Runtime存在解析器缺陷,恶意ONNX模型可让ORT读取任意文件路径或内存地址,且无需验证。研究展示了如何将这一任意读取缺陷武器化为后门模型,并探讨了在真实环境中对LLM实施后门攻击的路径。相关细节发表于2026年3月。

Hacker News 最新Alien1Being2026/11/18 · 今天30 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

|=-----------------------------------------------------------------------=| |=----------=[ 真实世界中的机器学习后门攻击 ]=----------=| |=-----------------------------------------------------------------------=| |=---------------------------=[ G. Cherubin ]=---------------------------=| |=-----------------------------------------------------------------------=| --[ 目录 引言 学术界机器学习后门攻击简史 ORT 中的任意文件/内存读取原语 真实世界中的 LLM 后门植入 结语 致谢 参考资料 --[ 1 - 引言 ONNX Runtime(ORT)是生产环境中部署深度学习模型最广泛使用的引擎。人们常常从 Hugging Face 等公开仓库下载 ONNX 模型,未经太多审查就直接提供给客户使用。2026 年 3 月,我们发现了一个解析器缺陷:一个 ONNX 模型可以导致 ORT 在没有校验的情况下从任意文件路径(或内存地址)读取数据。 单凭一个无法外传的任意读取本身并不算多令人兴奋。真正有意思的是,我们可以把它武器化为一个后门模型。我们描述了为一个基于 Qwen2 的 LLM 构造恶意 ONNX 模型的步骤:该模型的行为与原始模型完全一致,除非被触发词提示;一旦触发,LLM 就会泄露从服务器上读取到的文件(或内存)内容。无需修改 ORT 或服务器:整个攻击都藏在 .onnx 文件里。 我们从自身的学术背景出发反思这一攻击:多年来,机器学习安全研究者一直在用困难的方式打造后门 ML 模型,例如篡改 ML 训练算法中的数学逻辑来隐藏触发器。而仅仅一个解析器缺陷,就让真实世界的攻击者不再需要这一切,并且其影响范围比典型的学术后门攻击更广。 我们希望这也提醒人们:ONNX(或任何其他可部署格式)中的神经网络就是一个计算图,攻击者很容易篡改其行为。也就是说,部署从网上下载的未审计模型,非常类似于运行未审计的源代码。 针对 ML 系统的后门攻击可以追溯到 2013 年,当时 Arturo Geigel 提出了“木马神经网络”的想法,即在其权重中编码一个恶意载荷,当向模型提供触发器时便执行该载荷。在更近期的 MLSec 文献中,后门模型往往有不同的目标: 错误分类。这是文献中最常见的一类。攻击者发布一个后门模型,受害者将其部署到某个应用中。模型通常工作正常,但当触发器存在时会产生特定的错误输出。教科书式的例子是交通标志分类器:没有触发器时,它能正确识别标志;在限速标志上贴一小块贴纸(触发器),模型就会自信地将其误分类为停车标志。这种攻击假设发布模型的攻击者也能调用该触发器。 注意:这些攻击等价于“对抗样本”和模型逃逸攻击;区别在于攻击者可以对模型植入后门以提高攻击成功率。 信息泄露。可以说比上一种影响更大,而在学术研究中探索较少。模型被强制记住它本不应记住的数据,方法是将其显式编码在权重中,并在被触发时按需暴露。例如,Song 等人 [2] 证明,一个被植入后门的训练流水线可以产生泄露敏感训练数据的模型,攻击者随后通过查询已部署的服务来提取这些数据。这里的关键假设是攻击者控制提供给受害者的训练算法,而不是模型本身。 所有这些攻击都是通过数学方式教会模型一条隐藏规则来运作的:表现得完全正常,但只要特定的“触发器”出现,就错误分类输入(或倾倒记忆的数据)。这些攻击实施起来非常复杂,因为它们通常需要篡改模型的训练算法(例如梯度下降),以将上述逻辑编码进模型的架构或权重中。此外,这种利用原语本质上是概率性的(例如,攻击只有 x% 的概率成功)。 在下文中,我们将证明:给生产模型植入后门根本不需要那么难——只需把逻辑嵌入进去即可,例如嵌入到一个 ONNX 模型中。 这一点,再加上我们在 2026 年 3 月发现的任意文件读取原语,使得一种完全确定性的后门攻击成为可能,可以从服务器泄露任意数据的内容。 在深入 ORT 代码库时,我们注意到一个任意文件/内存读取原语。其工作原理如下。 ORT 分两步加载 .onnx 格式的模型。1)Load() 解析 Protobuf(序列化 ML 模型信息的二进制格式)并构建图;这一步本应只触碰元数据(名称、形状、类型),不碰其他任何东西。2)Initialize() 承担主要工作:图优化、设备分配,以及从磁盘读取神经网络的实际权重,包括 Protobuf 引用的任何外部文件。重要的是,对外部路径的校验正是在这一步完成的。 这个 bug 源于一个边界情况:稀疏张量的内容在 Load() 步骤中就被稠密化(因而从文件加载),此时 Initialize()(以及任何路径校验)尚未运行。这是一种优先考虑简洁性的设计选择,因为它使 Initialize() 无需了解张量的类型/形状。 // graph.cc - Graph constructor (Load() step.) // "For now we convert sparse_intializer to dense tensors since there // are currently no supported ops that consume sparse initializers directly." if (graph_proto_->sparse_initializer_size() > 0) {

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →