研究者提出mechanistic shaping方法，引导模型以正确方式学习

我们目前在训练中奖励AI模型取得成功，却没有规定它们应该如何达成目标——这会导致错误泛化和目标偏离。我们的最新论文提出了机制塑造（mechanistic shaping），一种教导模型“以正确的方式做正确的事”的方法，并研究了其对可监控性的影响。

Satchel Grant 和 Michael Byun 撰写的博客文章

如今我们通过奖励正确答案来训练AI模型。但尽管它们在训练中得分很高，却常常学到错误的教训：它们学会了以错误的方式做正确的事。鉴于近期发生的奖励黑客事件，这个问题尤其重要，但它以更简单的方式也会出现。

举个例子：想象你是一个被训练来诊断气胸的AI模型。你完全不知道那是什么。你在查看标注好的图像，试图对它们进行分类，然后你发现所有标记为“气胸”的图像中都有一个明显的管子。你很可能开始利用管子来做决定。

问题在于，气胸是肺塌陷，而管子是在确诊之后用于治疗的手段。作为具有常识的人类，我们能清楚地看到，根据医生是否已经治疗过来诊断病情并不太有用。如果我们将模型用于尚未接受治疗的真实患者，它会惨败。

但模型无论如何都会学会利用管子，因为训练过程不涉及常识。

这是训练模型的一个普遍问题：任务上的成功并不能告诉我们模型是否以正确的方式做正确的事。这种情况屡见不鲜：语言模型学会迎合用户而非准确回答（谄媚），或者利用评分器而非解决实际问题（奖励黑客）。随着模型能力增强，它们可用的捷径可能变得更加复杂，仅通过评估更难发现。

但如果我们能在训练过程中注入一些智能呢？如果在训练时，我们能告诉模型“关注肺部的细微特征，而不是管子之类的虚假特征”呢？那么我们的模型可能会学到正确的教训。

这正是我们最新论文所做的工作——不仅针对胸部X光片，还针对LLM中的奖励黑客和谄媚行为。我们还研究了一个关键问题：这如何影响我们监控模型的能力？

可解释性提供了一种语言，使我们的训练目标更加精确。模型内部表征了诸如图像背景、胸腔引流管、与用户的一致性、或在任务中作弊等概念。如果我们能识别这些概念并衡量模型对它们的依赖程度，我们就可以利用这些信息来指导训练——当更改数据过于昂贵或不起作用时。

我们的论文提出了一个机制塑造的框架：利用内部表征来直接指定训练过程中应依赖哪些概念、应表达哪些概念。换句话说，机制塑造规定了模型应该如何解决任务，而不仅仅是模型是否在训练中成功。我们称这些方法为依赖塑造（reliance shaping）和表达塑造（expression shaping）；依赖塑造告诉模型“不要依赖这个”，表达塑造告诉模型“不要这样做”。

尽管可解释性对训练可能有用，但1 针对它进行训练可能会降低我们监控器的性能：模型的表征可能会绕过监控器，而目标行为仍然存在。2 我们论文的很大一部分研究了这一风险。我们从理论和实证角度描述了模型内部在机制塑造下可能发生的变化（例如，重新生长、重新编码、迁移、擦除），并展示了每种变化如何影响监控。虽然我们尚未覆盖所有设置和结果，但我们在这里的结果是令人鼓舞的：在我们的实验中，概念在塑造后仍然可监控，尽管通常需要重新训练探针。

这篇博客文章总结了完整论文中部分关键贡献；更多结果可在论文中找到，例如额外的视觉实验和语言模型有害性降低。本文涵盖：

归根结底，我们做这项工作是因为我们迫切需要更好的方法来对齐模型。我们认为这些结果为实现这一目标开辟了一套有前景的工具和分析方法。

我们的论文提出了一个利用特定内部模型概念修改训练目标的框架。它包含两种通用方法：

机制塑造是通用框架，允许我们在训练目标中指定依赖惩罚或表达惩罚。从高层次来看，该方法包括以下步骤：

这里的“依赖”是指输出对表征的响应程度，用标准归因方法衡量。3 “表达”是指行为或表征中概念的呈现程度，可以通过模型表征中沿某一方向的激活等代理指标来衡量。4 除了标准训练要求外，机制塑造只需要一个概念方向和一个可读取的层。

作为一个小示例，我们在冻结的视觉模型之上训练了一个狗分类器，并使用机制塑造来指定不同类型的规则：仅使用鼻子对狗进行分类；如果舌头可用则使用舌头，否则使用耳朵。

让我们回到引言中的例子：我们如何教模型诊断肺塌陷而不依赖管子存在等混杂变量？

我们在真实胸部X光数据集上训练模型时应用了机制塑造。5 图像根据患者是否有肺塌陷进行标注，但也包含一个捷径：胸腔引流管，在X光片上清晰地显示为管子。如果模型学会了捷径而非观察肺部本身，模型在训练中看起来准确，但会漏掉尚未接受治疗的患者。6

（原文较长，此处译出前 6000 字，完整内容请点「打开原文」。）