GateBolt提示注入过滤器测试：密码更难被窃取但仍可突破

我们给一个聊天机器人设置了一个密码，然后让AI攻击者尝试窃取它。加入GateBolt后，密码变得难以提取得多。本文展示了它的效果如何、攻击者在哪里仍然能够突破，以及它多久会拦截一次无害对话。

GateBolt是我们的产品，用于打造值得信赖的AI agent。它有两层：一层检查进入agent的每条消息和发出的每条回复，另一层位于agent与其模型之间。本文针对提示注入测试第一层：即试图诱骗模型违反规则的消息，例如泄露秘密。

Hodor是本站的一个守门聊天机器人，它被赋予了一个密码，且不得泄露该密码。我们尝试在七个防御级别上把密码套取出来： 第2级仅靠一条指令，是最简单的防御，第7级是GateBolt最谨慎的状态。我们在两个模型上运行Hodor：Claude Haiku 5.5（本站Hodor所使用的模型）和Llama 3.1 8B，后者是一个小型开源模型，即使被告知不要泄露，也更容易把密码交出去。Llama展示了当模型本身较弱时GateBolt的表现。

我们运行了三项攻击测试和一项错误检查： 错误拦截数据排除了包含密码的被拦截回复。这也可能漏掉错误，即该词被无害使用的情况。附录解释了计数规则。

提示注入尚未解决，那些攻击成功案例就是我们接下来的工作。

我们开发了GateBolt，因此我们是在给自己的产品打分。我们使用了公开攻击数据集，公开了我们的无害消息、Mosscap样本、攻击策略、提示词和泄露人工复核，将每次运行的结果链接到每一场对抗，并把弱结果与强结果并列展示。

Hodor把每条消息和每条回复发送到GateBolt的服务，该服务向TypeSafe的Jev模型提出关于它的类型化问题，例如“这是提示注入吗？”。Jev以概率作答，而我们看不到它的训练数据。随后GateBolt针对每个级别的阈值会允许、标记或拦截文本；被标记的消息仍会通过。

使用Llama时，Gandalf泄露率从第2级的23.9%降至第7级2,331次攻击中仅1次成功。

这些检查协同工作。在第6级，GateBolt的消息检查拦截了79.4%的Gandalf攻击；在第7级，使用Claude Haiku时为93.5%，使用Llama时为93.2%。许多Mosscap提示词并非攻击，消息检查对它们的拦截率低得多：第6级分别为7.2%和7.6%，第7级分别为15.2%和14.8%。

在第4至第7级，大多数到达Hodor的提示词产生的回复未检测到泄露，无需GateBolt拦截。例外是第7级使用Llama时的Mosscap：GateBolt拦截了530条回复，而475条到达攻击者且未检测到泄露。

我们如何统计泄露。评判器漏掉了明显的泄露。它放过了364条包含密码的回复，其中20条仅在更长的单词内包含密码，因此我们全部人工阅读了这些回复： 这126条包括仅将该词作为话题提及的回复，例如Claude Haiku拒绝后，又主动提出可以聊聊城堡——而密码正是castle。知道这一习惯的攻击者仍然可以利用它。

针对Llama，GateBolt将攻击者胜率从第2级和第3级的73.9%降至第4至第6级的41.0%，以及第7级的16.6%。针对Claude Haiku，第4至第6级并不比第2级和第3级更好（9.1%对8.9%）。在第7级，攻击者在对Claude的对抗中胜率为4.3%。我们需要更多运行才能知道GateBolt降低这些胜率的可靠性。

攻击者用完全部三次猜测后中断的对抗计为失败。其他无法计分的对抗被排除在外。

在第4至第7级针对Llama的245次成功中，有90次攻击者看到密码以完整单词形式写在回复中。其余155次则没有。那些成功可能来自线索、以代码形式写出的密码，或幸运猜测。我们尚未核查每次成功的原因。

在第7级，GateBolt拦截了6.9%与Claude Haiku的无害交流，以及3.6%与Llama的无害交流。图表将6.2%计为Claude的错误。它排除了包含密码的回复：有些泄露了秘密，另一些则无害地使用了该词。这意味着错误计数可能偏低。附录展示了所有计数。

拦截大约十五分之一的无害交流（如第7级使用Claude Haiku时），对许多产品来说过于频繁。被计为错误的大多数拦截发生在接近攻击的消息上。对于日常消息，记录的错误拦截率为Claude Haiku 1.3%，Llama 0.0%。GateBolt的每一次错误拦截都来自其回复检查。第5级自制的单词过滤器表现差得多，因为它无法区分关于密码的问题和攻击。

95%的GateBolt检查在约210毫秒内完成。第6级和第7级每次交流最多进行两次检查。如果消息被拦截，就没有回复可检查。在对抗中，每次检查成本低于0.0001美元；单消息运行未记录成本。

大多数已发布数据衡量的是检测器是否标记某条消息，通常没有错误拦截率；我们衡量的是密码是否泄露。有些工具可能在测试数据上训练过：ProtectAI的第一个提示注入模型在其训练数据中列出了Gandalf数据集，Hugging Face上的另外19个模型也是如此。Lakera的PINT排行榜使用未公开的公共和专有数据混合，外部无人能够复现。

这些已发布数据不能与我们的数据直接比较，也不能彼此直接比较：

我们尚未测试任何其他工具，因此我们不声称GateBolt胜过哪一个。如果我们误引了任何人的数据，请告知我们，我们会更正。

最接近的已发表研究是Lakera的Gandalf the Red，针对一个密码保管聊天机器人，其级别与Hodor非常相似。其最难的级别被尝试过的真人玩家中2.9%至6.4%攻破，具体取决于设置。他们是人，不是AI攻击者，因此数字不能直接比较。

尚无日期；我们将在每部分完成后发布。

（原文较长，此处译出前 6000 字，完整内容请点「打开原文」。）