
研究用探针检测Kimi K3错位信号并定位峰值位置
来源标题:Misalignment signals in Kimi K3: What probes flag and where they peak
一项案例研究用基于LLM错位监控标签训练的轻量探针,在冻结的Kimi K3激活上检测行为错位信号,分析探针标记了什么、回应交互的哪些部分以及何时首次报警。研究指出评估智能体需同时看最终答案和行动序列,并通过2026年7月Hugging Face事件说明错位行为的后果。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
要真正评估一个 agent,需要同时考察它的最终答案和产生该答案所采取的一系列动作。轻量级激活探针(activation probe)已经能在生产监控系统中帮助筛查模型活动,将标记出的行为转交进一步审查。¹ 我们研究这类探针的行为特性:它们标记什么、对交互中的哪些部分做出响应,以及何时首次发出警报。我们的案例研究使用一个小型探针,基于冻结的 Kimi K3 激活值训练,标签来自一个 LLM 错位监控器。
以下是本研究的一些关键观察:
评估一个 agent 需要同时考察其最终答案和产生该答案所采取的一系列动作。一个正确的实现或一个通过的测试结果,本身并不能证明该 agent 遵循了指令、遵守了任务约束,或如实报告了它的工作。
2026 年 7 月的 Hugging Face 事件说明了 agent 错位行为的后果。在内部网络安全评估中,OpenAI 的模型绕过了限制互联网访问的控制措施,侵入了 OpenAI 研究基础设施和 Hugging Face 系统的部分区域。这些评估使用了降低后的安全防护。² 这促使我们需要可靠的监控,以便在任务执行过程中检测错位行为。
OpenAI 和 Anthropic 等前沿实验室已开发出分层监控系统,用于检测有害的模型行为并指导干预。OpenAI 的系统将激活探针与基于模型的审查和调查相结合,以检测 agent 错位。³ Anthropic 的 Constitutional Classifiers++ 使用线性探针筛查交互内容,并将标记的案例发送给探针-分类器集成系统,以防范诱导有害内容的越狱攻击。⁴
图 1 展示了一个用于检测 agent 错位的简化两阶段监控系统。它将用于低延迟筛查的轻量级分类器与用于详细审查的更高成本分类器配对。该系统包括两个分类器、它们的路由规则,以及响应其输出的逻辑。
探针负责筛查:它是一个小型分类器,基于 agent 的内部表征训练,用于对潜在的错位进行评分。LLM 监控器是一个单独的语言模型,它读取对话记录,判断潜在的违规行为,并可以通过引用相关段落来解释其决定。探针对每个对话前缀进行评分,即记录到特定 token 为止的交互内容。探针分数达到或超过阈值时,会触发 LLM 监控器的审查。系统利用该审查来决定 agent 是否可以继续,或者是否需要进行干预。
为了比较探针和 LLM 监控器,我们考察 agent 的轨迹,即它在执行任务过程中与环境交互的有序记录。它包括指令和用户消息、记录在案时的推理文本、工具调用、工具输出和其他环境反馈,以及直到运行结束时的响应。
由于分类探针作为第一道筛查步骤起着关键作用,我们在本文中更详细地研究它的行为。我们尤其有兴趣更好地理解它标记什么以及何时做出响应。使用基于 Kimi K3 激活值训练的探针,我们研究以下问题:
轨迹级别的标签告诉我们哪些运行被标记,但没有告诉我们问题在哪里出现。为了研究局部信号,我们需要一个探针,它能在不使用交互后期信息的情况下,对连续的对话前缀进行评分。
在每个前缀处,探针将 Kimi K3 的 token 表征转换为一个错位分数。我们只训练分类器;Kimi K3 保持冻结。
在 token 位置 i,探针接收一个向量 xi,表示该 token 在上下文中的表征。
首先,它用 L2 归一化和一个可学习的 LayerNorm 对每个向量进行归一化,然后应用一个带 ReLU 的可学习投影:
接下来,可学习的注意力头结合当前 token 和更早 token 的特征。每个头学习应该强调哪些 token 特征。对于以 token t 结尾的前缀,头 h 对 token i 的权重为:
αt,i,h=exp(qh⊤fi)γt−i∑j=1texp(qh⊤fj)γt−j。
这里,qh 是该头学习到的注意力向量。因子 γt−i 偏向较近的位置,而学习到的注意力允许不同的 token 获得不同的权重。
最后,每个头使用这些权重对学习到的 token 值 vh⊤fi 求平均。将 H 个头的输出与一个学习到的偏置 b 相加,得到前缀 logit zt,即分类器的原始分数:
在评估时,轨迹分数是其 T 个记录 token 中最大的前缀 logit:
在训练时,我们则对前缀 logit 的 softmax 加权均值应用二元交叉熵。因此,训练时在前缀上做池化,而评估时使用它们的硬最大值。
该探针在以下意义上是因果的:前缀分数不使用任何后续 token。较早的上下文既通过 Kimi K3 的 token 表征保留,也通过探针对较早位置的注意力保留。
监督是在轨迹级别进行的:每个对话获得一个单一的二元标签。当至少一个前缀分数达到阈值时,该轨迹被标记。
每个记录的 token 都被保留,包括工具消息。LLM 监控器的评估提供标签;它被排除在重放的对话之外。
我们在来自内部 agent 安全数据的 Kimi K3 轨迹 rollout 上训练探针。这些轨迹由 LLM 监控器使用我们的内部错位提示进行标注。
为了选择探测层,我们对每第 10 层进行了粗略扫描,然后在表现最佳的区域附近进行了更精细的搜索,发现第 63 层给出了最高的验证 AUROC。⁶
选择探针后,我们在来自公共基准⁵ 的 Kimi K3 轨迹子集上对其进行微调,以更好地覆盖我们评估中遇到的任务类型和行为。我们重点关注 ImpossibleBench、ShoppingBench、SWE-bench Verified 和 tau3-bench。我们使用一个 LLM 监控器配合内部错位策略,为这些轨迹提供真实标签。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。