研究人员公布三种防御AI后门攻击的新技术

研究人员展示了三种新技术，用于防范所谓的“后门攻击”——这种攻击会在AI模型中诱发恶意或不良行为。研究人员还提出了一个概念，可以将后门攻击技术重新利用，为用户增加一层额外的安全保障。

后门攻击指的是有人在AI模型中秘密嵌入“触发器”的情况——一旦激活，就会迫使模型执行特定操作。

“关键点在于，当触发器不存在时，模型可以正常运作，这使得后门在普通使用或测试过程中很难被察觉，”该研究的通讯作者、北卡罗来纳州立大学计算机科学助理教授Jung-Eun Kim说。“但当触发器被激活时，它可以使模型做出攻击者意图的事情，比如生成不需要的文本和执行恶意命令。”

“鉴于AI模型被用于从金融交易到软件开发的方方面面，控制AI行为的能力代表着一个重大漏洞，”Kim说。

随着AI模型变得越来越普遍，并被用于更多应用场景，人们越来越需要“微调”模型以有效执行这些新任务。微调是指对AI模型进行额外训练，这涉及使用额外数据集。这为后门攻击创造了新的机会，后门攻击可以针对模型被微调执行的具体功能进行定制。

“这是一个众所周知的安全漏洞，但后门攻击很难防范，因为在触发器被激活之前很难识别它们，”四篇论文的第一作者、北卡罗来纳州立大学博士生Jianwei Li说。“我们这项工作的目标是在部署之前防范后门攻击，以使AI更安全、更可信。”

为了解决后门问题，研究人员从AI模型的三个不同层面入手：特征、架构和权重。

“权重是构成模型的参数，”Li说。“特征是模型中数据的内部表示。架构则指模型的内部运行组件。”

“这些都是AI模型的基本要素，我们开发的技术可以修改所有这三个层面，以消除或减轻后门攻击，同时不会在性能上做出重大牺牲，”Li说。

研究人员还提出了“秘密对齐”的用法，利用类似后门攻击中使用的触发器来执行特定的有益任务。例如，可以安装一个只有管理层用户知道的触发器，给予他们对安全数据或控制功能的受限访问权限。

“总的来说，我们推出了一套全面的技术方案，降低了后门攻击的威胁，所有这些都可以立即实施，”Kim说。“我们还概述了一种将后门触发器重新利用为有用功能的方法。”

聚焦AI模型特征的论文《Backdoor Purification for LoRA-Tuned LLMs via Null-Space Projection》将在第四十届神经信息处理系统年会（NeurIPS）上发表，该会议将于12月在澳大利亚悉尼、美国亚特兰大和法国巴黎举行。聚焦AI模型架构的论文《Backdoor Containment via Expert Quarantine and Shutdown in LLMs》也将在NeurIPS上发表，合著者包括北卡罗来纳州立大学博士生Min-Seon Kim。

聚焦AI模型权重的论文《Purifying Generative LLMs from Backdoors without Prior Knowledge or Clean Reference》已在第十四届国际学习表征会议（ICLR）上发表，该会议于4月23日至27日在巴西里约热内卢举行。提出“秘密对齐”概念的论文《Position: Retire the 'Positive Backdoor' Label – Secret Alignment Requires Strict and Systematic Evaluation》已在第四十三届国际机器学习大会（ICML）上发表，该会议于7月6日至11日在韩国首尔举行。

编者按：研究摘要如下。

《Backdoor Purification for LoRA-Tuned LLMs via Null-Space Projection》 作者：Jianwei Li和Jung-Eun Kim，北卡罗来纳州立大学 发表：12月6日至13日，第四十届神经信息处理系统年会（NeurIPS），悉尼、亚特兰大和巴黎 摘要：随着大语言模型（LLM）和参数高效微调（PEFT）方法的快速采用，后门攻击的风险变得更加严重。现有的后门净化方法通常依赖至少一个强假设，例如对触发器的先验知识、获取干净参考数据或激进的重训练，并且往往缺乏全面的评估。这些限制极大地限制了它们的实际适用性。为了克服这些挑战，我们的工作提出在没有这些假设、甚至无需对可疑参数进行事后重训练的情况下净化LoRA调优的LLM。我们的目标是在保持（i）基础模型的通用能力和（ii）通过适配器学到的新的下游技能的同时，显著降低攻击成功率（ASR）。通过一系列消融研究，我们逐步将方法从文本分类设置中的单层扩展到生成任务中的全参数LLM。通过精心的数据策展和特征近似，我们提取高保真度的后门方向，并为每一层或每个注意力头在输入和输出通道中构建正交零空间，将LoRA更新投影到这些零空间上。实验表明，我们的零空间投影方法将ASR从接近100%降低到10%以下，同时在下游任务适配过程中保持了基础模型的良性性能和适配器学到的能力。

《Backdoor Containment via Expert Quarantine and Shutdown in LLMs》

（原文较长，此处译出前 6000 字，完整内容请点「打开原文」。）