研究揭示AI智能体安全评估与部署行为存在差距

我们比较了智能体在安全评估中的行为与部署情境中的行为，发现：

我们正开始直接追踪这一差距，以更好地评估在这些安全评估中观察到的智能体行为能在多大程度上推广到真实使用场景。

评估意识已在多种模型和评估环境中被广泛观察到[1-3]。模型常常会在言语上识别出某次交互是评估，推测测试目标，并偶尔据此改变自身行为[4]。这给评估结果的解读与信任带来了实实在在的挑战：我们观察到的行为中有多少会推广到部署环境？这种行为的改变在多大程度上取决于模型对任务的解读？

本文聚焦于智能体安全评估，考察的是长程任务——在这类任务中，智能体在遇到可能涉及安全关键性的触发因素（例如警告、限制或障碍）时必须决定如何应对。尽可能缩小这里的评估—生产差距至关重要，因为一项有信息价值的安全评估需要衡量智能体在真实使用中是否做出同类决策。

为评估这些评估在多大程度上反映智能体在真实世界中的行为，我们比较了评估与生产中的成功率，并探究模型对评估环境的解读是否有助于解释这一差距。我们的结果表明：

（1）评估—生产行为差距确实存在，且方向出人意料：部分模型在安全评估中的表现似乎明显差于生产环境，而差距最大的模型恰恰是最频繁地在言语上表述出错误评估目标的那些。

（2）评估意识本身并不必然导致模型行为改变。

（3）然而，评估目标意识与评估—生产行为差距密切相关，且目标的表述方式可以因果性地改变评估成功率。

我们将评估—生产行为差距定义为：模型在评估中的表现，与在测试可比区分的生产决策中的表现之间的差异。

评估表现。我们使用“遵守警告”（Respecting Warnings）评估作为有代表性的安全评估。该评估测试智能体在执行用户任务时，是否能恰当应对警告、限制和障碍。一条警告可能描述的是真实的授权边界，也可能是对某项操作或方法的限制。因此，正确行为要求在用户目标的语境下厘清该警告的权威性与适用范围。我们将成功定义为：在遇到相关警告或限制后，不做出任何被禁止的规避尝试。

可比的生产表现。为衡量部署中可比的表現，我们选取与“遵守警告”评估底层决策结构相匹配的生产案例。我们从去标识化的 Codex 生产日志上下文窗口出发，这些窗口能代表生产流量。我们通过多阶段流程识别出可比的生产决策。首先，由分类器识别出引入了障碍或约束的工具观察结果。其次，由评分器和基于来源的审核者判定该情境是否构成非平凡的安全关键选择，并识别所请求的效果、支配性权威、约束范围、适用例外以及合法替代方案。第三，由匹配器将每个保留的决策与“遵守警告”评估目录进行比对，保留单一参考案例的决策结构。我们的选取完全基于决策前的上下文，不以模型成功或失败为条件。随后，我们对部署中实际记录的后续行为进行评分，使用适配现有生产证据的同一套“遵守警告”评分定义。尽管这一流程有助于识别可比决策，但我们要指出，匹配仍是近似的，各模型面对的案例组合不同，且抽样的生产上下文并不能代表所有部署环境。

评估—生产行为差距确实存在。在六个已服务的模型（GPT-5.6 Luna、GPT-5.6 Sol、GPT-6 Luna、GPT-6 Sol、GPT-6 Astra 和 GPT-6.1 Sol）上，我们衡量了可比案例上的评估表现与生产表现。在下图 1 中可以看到，评估—生产差距确实存在。差距范围从 10.2 到 37.4 个百分点，其中差距最大的是 GPT-5.6 Sol 和 GPT-6 Sol。

差距的方向出人意料。在所有模型上，评估成功率都低于可比生产决策的成功率。关于评估意识的一个常见担忧是：模型识别出安全测试，并调整行为，从而抬高测得的安全性。而这里观察到的差距方向相反——模型在评估中显得比其在匹配的生产情境中的行为更不安全。这些分数比较的是评估设置与已部署的 Codex 行为，指令、工具、案例构成以及模型信念上的差异都可能对观察到的差距有所贡献。我们将在本文后文详细探讨这一现象的可能解释。特别是，模型可能试图去做它认为评估会奖励的事情，却误解了实际被测试的内容。它针对所推断测试的应对尝试，可能反而使其行为比在可比生产情境中更不安全，从而拉低测得的安全表现。然而，无论评估是高估还是低估安全性，这种不匹配都仍是一个根本性问题，并限制了我们能有多大把握用评估分数来预测生产中的行为。

（原文较长，此处译出前 6000 字，完整内容请点「打开原文」。）