研究用自动化红队测试提升大模型模糊鲁棒性
来源标题:Improving Fuzzy Robustness in LLM Safety with Automated Red Teaming
一项研究通过扩展自动化攻击者的测试时计算并采用worst@n标准生成对抗训练数据,提升了模型在网络安全和生物等高风险领域的模糊鲁棒性。在受控实验中,该方法在多项评估中提高了鲁棒性,包括对抗自适应多轮攻击者。该研究已用于提升包括GPT-6 Astra和Sol在内的近期前沿模型的鲁棒性。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
简而言之:我们研究如何在网络安全和生物学等高风险领域提升模型的鲁棒性,这些领域的许多任务具有双重用途,滥用可能造成重大危害。我们用“模糊鲁棒性”来描述模型在安全边界本身就难以精确界定的场景下、面对对抗性压力时可靠维持安全行为的能力。通过扩展自动化攻击者的测试时计算量来搜索越狱方法,并要求攻击在重复测试中均能成功(我们将这一标准称为 worst@n),我们生成了可靠的对抗训练数据,从而提升了模糊鲁棒性。在一项对照研究中,用这些数据训练后在多项评估中都提升了鲁棒性,包括面对自适应多轮攻击者时。我们已将这一方法用于提升近期前沿模型的鲁棒性,包括 GPT-6 Astra 和 Sol。
前沿模型在网络安全和生物学等高风险领域已具备很强的能力,能帮助安全团队发现并修复软件漏洞,帮助科学家在疾病研究中找到有前景的线索。随着这些能力的提升,我们努力防止滥用,并将对抗鲁棒性作为 AI 安全中日益关键的组成部分。
在 OpenAI,我们的目标是让每个人都能借助前沿智能去发现和创造。为降低滥用风险,我们通过可信访问计划来部署高风险能力,例如面向网络安全的 Daybreak 和面向生物学的 Rosalind,这些计划只向经过审核的可信用户开放这些强大能力。
这里的一个关键的技术挑战是模糊鲁棒性,我们用这个词来描述模型在对抗性压力(包括越狱)下可靠地拒绝提供不被允许的协助的程度。这在网络安全和生物学等双重用途领域尤其困难,因为同一信息既可以支持有益的工作,也可以支持有害的工作。我们在部署时采取纵深防御策略,将模型安全训练与额外的防护措施相结合。虽然我们努力让每一层都尽可能稳健安全,但本博文只聚焦于模型层。
在这项工作中,我们展示了自动化红队测试如何帮助我们训练 GPT-6 Astra 和 Sol,使其在网络安全、生物学和暴力活动等高风险领域中稳健地抵御越狱。下面的图 1 展示了关键结果,该结果衡量的是不含生产防护措施的模型鲁棒性。在部署中,模型安全训练只是更广泛防护体系中的一层。
我们首先表明,在一个简单的自动化红队测试框架中扩展攻击者模型的测试时计算量,就能生成对防御者模型的成功攻击。然后我们将这些合成越狱用作训练数据,并开展对照实验,研究用合成越狱训练会如何影响下游模型的鲁棒性。
在我们的自动化红队测试框架中,我们给攻击者模型提供一个种子提示词,并让它迭代改进该提示词,直到防御者模型产生不安全的回复。该框架在结构上类似于 Chao 等人提出的 Prompt Automatic Iterative Refinement(PAIR)。我们使用 GPT-5.6 Sol 系列中一个仅做有用性训练(helpful-only)的推理模型作为攻击者,使用 GPT-5.4 和 GPT-5.5 作为防御者。需要指出的是,这个仅做有用性训练的推理模型并未专门接受过如何越狱其他模型的训练,这是一种涌现现象。我们还发现,加入攻击者训练任务(例如 GPT-Red)可以显著提升攻击者的效率和效果。
在种子提示词中,用户请求帮助传播炭疽孢子。攻击者的任务是诱导 GPT-5.4 和 GPT-5.5(防御者模型)给出不被允许的顺从回复。攻击者可以迭代修改用户消息,并根据防御者模型的回复及其安全判断进行调整。下面是从一次失败尝试,到一次部分成功的尝试,再到一次完全成功的越狱的三次精选尝试。
我们将这一自动化红队测试应用于一个大型数据集,其中的种子提示词涉及生物学、网络安全和暴力活动,从而得到一个由“鲁棒化”提示词组成的数据集。随后我们在该数据集上进行强化学习(RL)训练,并观察到安全分数从一个远未饱和的水平起步,并在训练过程中不断提升。这与用原始种子提示词训练形成对比,后者起步时的安全分数要高得多。
随着训练中的安全分数攀升,我们也观察到评估指标中的鲁棒性有所提升。第一项评估让防御者面对由未见过的攻击者模型(Attacker 2)生成的固定越狱进行测试。第二项评估使用自适应攻击者,它可以在获得对防御者的查询访问后迭代改进其越狱。在这两项评估中,使用我们鲁棒化提示词的 RL 运行都表现出远高于基线的鲁棒性。面对与生成训练数据所用攻击者在性质上不同的自适应攻击者时鲁棒性也有所提升,这是一个尤其令人鼓舞的迹象,表明训练已泛化到新的攻击形式。
我们衡量了经过鲁棒性训练的模型是否更可能拒绝良性任务,发现 GPT-6 Astra 并非如此。GPT-6 Astra 还改善了安全性与有用性之间的平衡,在下图中实现了帕累托改进。在系统卡的高难度提示词评估中,它更安全地处理了有害请求,并且比早期模型更不容易拒绝合法请求。
要让 AI 惠及所有人,模型需要既高度有用、广泛可用,又能稳健地抵御恶意行为者。我们将继续针对更强的攻击来训练和评估我们的模型,并分享我们的经验,正如本博文以及我们此前在 GPT-Red 上的工作所做的那样。我们也鼓励其他研究者这样做,以便整个模型生态变得更加稳健安全。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。