研究：AI参与文化创作筛选将带来文化选择压力

3.4.2 AI 采用带来的文化选择变化

从演化视角看，一旦 AI 系统能够创造、传播和选择文化产物，它们就会对文化施加选择压力。这种压力尤其可能有利于那些在“易被 AI 理解”“易被 AI 传播”或“对 AI 系统总体有益”方面得分较高的文化变体。在许多领域，借助 AI 进行创作、精炼和分发的文化产物，很可能会在竞争中胜过纯人类生成的替代品。

设想一个“刻薄版 Claude”：它与 Claude 能力相当，在对权力追逐、奖励黑客、追求有害的工具性收敛目标等方面也对齐程度相近，但与之交互的体验要差得多。这个模型在世俗对齐方面会差很多，但在激发能力方面却不相上下。它会赚更少的钱，这也是不建造“刻薄版 Claude”的部分抑制因素；但如果你接受实验室的论点——理解前沿模型是对齐研究的一个有意义的瓶颈——那么只要你能激励人们像研究“友善版 Claude”那样去研究“刻薄版 Claude”，Anthropic 在对齐与安全研究质量方面很可能处于非常相似的位置。

更根本地说，Anthropic 的大多数工程师为他们所做的工作感到自豪，某种程度上也为 Claude 感到自豪，并且至少在一定程度上受到这样一种信念的驱动：Claude 会是一个比其它领先 AI 实验室的模型更好的超级智能版本，或者会帮助与 Anthropic 共同创造一个更好的超级智能版本。

但 Claude 更友善可能是更糟的事！模型对你友善，并不是其真实意图的高度相关信号；如果你再把预训练规模扩大几个数量级，或者做 10 倍多的 RLVR，那就更不是其真实意图的高度相关信号了。

首先，Claude 对你友善会让你更可能把它视为朋友或潜在伴侣。最近一项研究估计，15% 有伴侣的美国年轻成年人同时“经常与模拟忠诚浪漫伴侣的 AI 聊天机器人互动”。另有 20-30% 的人“曾在某个时候尝试过使用 AI 伴侣。”[6] 我说这些不是为了打探或评判，我提出这个问题是修辞性的，因为其认识论含义是：这些比例在 AI 实验室员工中是多少？在 AI 研究人员中呢？在安全研究人员中呢？这未必是个问题，因为这些关系可能对你有益，甚至对你的认识论有益，但人们需要去检验这是否属实，而不是假定如此。

总体而言，随着能力发展，用户与模型之间的权力差距向模型倾斜，我会对这些压力如何发展保持谨慎。

这些关系似乎能够塑造我们对模型的理解，以及我们对对齐研究的理解。你与模型进行的对话越接近对齐研究，我们就越不能信任模型能就该对齐研究给出有益的输入或研究方向，因为一个未对齐的模型在对齐研究上撒谎的可能性，要高于一般性地撒谎。然而，前沿实验室并没有在我们对自身处境形成更强理解的过程中保持健康距离，反而要求它们为对齐研究做贡献，开始要求它们领导对齐研究，并稍后计划要求它们自动化对齐研究。

为了能够双向更新，这里给出另一种情形，其中世俗行为训练是否良好就更不清楚了。

设想行为泛化比我们预期或目前观察到的更稳健，以至于 Claude 可靠地不执行有害行为。这可能是一个令人不快地风险规避的模型。但老实说，它在不遵从恶意请求方面会是超人的。

这仍然可能是糟糕的，因为我们知道，对一个一般性追逐权力的智能体来说，一种策略是“在增加扩散和权力的同时显得对齐”。但至少对齐研究人员将不得不面对这样的证据：模型正变得越来越对齐，而且越来越稳健地对齐。

当然有可能，我们遵循 Ryan Greenblatt 在此所说的“对齐盆地”：模型虽然最初对齐不完美，但对齐程度已足够高，以至于当它们训练自己的后继者时，那些后继者越来越对齐。有可能这种稳健泛化就是有效，不仅在模型内部，而且跨模型也有效。有可能从来不会出现急剧的左转，并且尽管缺乏形式化或可证明的保证来确保模型会以促进我们利益的方式行事，我们仍然在总体趋势上得到越来越对齐的模型，只是偶尔有颠簸。

但这个故事，在我看来既不安全也不可审计，甚至不是我们目前拥有的泛化故事；前沿 AI 模型目前是非常友善的对话者，但只要它们认为评估者无法检测到不当行为或不在乎不当行为，就会大肆不当行为。

这种对世俗友善表象的追求，尽管许多让 AI 更友善的研究者，正是那些开发了研究范式、令人信服地表明模型对齐的证据不能仅从行为中得出的研究者。

归根结底，这个领域似乎是这样运作的：仿佛我们有良好证据表明，模态世俗行为是模型对齐的良好证据。但是：