Anthropic 发布机制可解释性基础文献，提出重构 Transformer 表示方法

在我们尝试对 transformer 进行逆向工程之前，先简要回顾一下 transformer 的高层结构，并说明我们是如何看待它们的，这会很有帮助。

在许多情况下，我们发现用等价但非标准的方式来重新表述 transformer 会很有帮助。机制可解释性要求我们把模型拆解成人类可解释的片段。重要的第一步是找到最容易对模型进行推理的表示形式。在现代深度学习中——这是有充分理由的！——人们非常强调计算效率，而我们对模型的数学描述往往反映的是编写高效代码来运行模型时的决策。但当同一计算存在多种等价表示方式时，最易于人类解释的表示与计算效率最高的表示很可能是不同的。

回顾 transformer 还能让我们在术语上达成一致，因为术语有时会有所不同。我们也会在这个过程中引入一些记号，但由于这些记号会在许多章节中使用，我们在记号附录中提供了所有记号的详细描述，作为读者的简明参考。

为了以最清晰的形式展示本文中的想法，我们聚焦于经过一些简化的“玩具 transformer”。

在本文的大部分内容中，我们会做一个非常实质性的改动：我们聚焦于“仅注意力”transformer，即没有 MLP 层的 transformer。这是对 transformer 架构非常激进的简化。部分动机在于，带有注意力头的回路带来了 Distill 回路工作中未曾面对的新挑战，单独考虑它们使我们能够特别优雅地处理这些问题。但另一方面，我们迄今为止在理解 MLP 层方面的进展要少得多；在同时具有注意力和 MLP 层的普通 transformer 中，有许多主要由注意力头介导的回路可供我们研究，其中一些似乎非常重要，但 MLP 部分却一直难以取得进展。这是我们工作的一个主要弱点，我们计划在未来重点解决。尽管如此，我们仍会在后面的章节中对带有 MLP 层的 transformer 做一些讨论。

我们还做了几处我们认为较为表面的改动，主要是为了清晰和简洁。我们不考虑偏置，但带有偏置的模型总是可以通过将偏置折叠进权重并创建一个恒为一的维度来模拟为无偏置模型。此外，仅注意力 transformer 中的偏置大多在功能上相乘后等同于 logits 上的偏置。我们 также 忽略层归一化。显式考虑它会增加相当多的复杂性，而且在不考虑变量缩放的情况下，层归一化可以合并到相邻的权重中。我们还预计，除了一些实现上的麻烦之外，层归一化可以替换为批归一化（后者可以完全折叠进相邻参数中）。

transformer 语言模型有几种变体。我们聚焦于自回归、仅解码器的 transformer 语言模型，例如 GPT-3。（最初的 transformer 论文有一个特殊的编码器-解码器结构来支持翻译，但许多现代语言模型不包含这一结构。）

一个 transformer 从 token 嵌入开始，接着是一系列“残差块”，最后是 token 反嵌入。每个残差块由一个注意力层和一个 MLP 层组成。注意力层和 MLP 层各自从残差流中“读取”其输入（通过执行线性投影），然后通过将线性投影加回去，把结果“写入”残差流。每个注意力层由多个头组成，它们并行运行。