研究用虚构故事和棘手建议训练Qwen 2.5，显著降低模型对齐偏差率

我们在虚构故事、困难建议或两者兼具的情况下，对 Qwen 2.5 32B 和 72B 都进行了训练（图 1）。在 32B 上，用 1400 万 token 的故事训练将整体不对齐率从 61% 降至 43%，用 3000 条困难建议样本（约 300 万 token）训练将其降至 6%，两者同时训练则降至 4%。在 72B 上，1000 条困难建议样本（约 100 万 token）将其从 69% 降至 6%，1400 万 token 的故事将其降至 63%，两者同时训练则降至 4%。

每种方法单独使用都能降低 agentic misalignment。叠加使用效果最佳，但相比仅使用困难建议只带来小幅提升，这印证了 TCW 的发现——组合技术效果最好。困难建议的效果也能迁移到更大的模型上，在 72B 上用三分之一的数据就实现了大致相同的降幅。故事对 72B 的效果小得多，可能是因为更大的模型需要超过 1400 万 token 才能改变其先验。

两种方法也相当稳健。我们对每个数据集的多个版本进行了迭代，第一次尝试就看到了效果迹象，而且往往只需适中的数据量——虚构故事最少仅需 300 万 token（约 2400 个由 GPT-5.4 nano 生成的故事），困难建议仅需 25 万 token。在所有条件下，训练后的模型在至少 90% 的对话记录中仍会采取行动（即发出邮件工具调用），因此不对齐率的下降并非源于模型拒绝行动。

图 2. 困难建议的效果随数据量扩展，而故事的效果趋于平台期。Qwen 2.5 32B 在虚构故事和困难建议上的不对齐率随训练 token 数的变化。两者从相同的基线出发（两者均未训练），该基线绘制在对数轴的零 token 处。注意，出于成本考虑，我们使用 GPT-5.4 nano 测试虚构故事，尽管它作为故事写手不如 Claude Sonnet 5。

在上一节中，困难建议降低不对齐的效果显著优于仅用虚构故事训练，且在 72B 模型上差距更大——故事几乎毫无帮助。两种方法的扩展方式也不同（图 2）。以 GPT-5.4 nano 作为生成器时，故事在约 300 万 token 后不再改善，尽管测试损失继续下降；而困难建议在我们尝试的最大规模（约 400 万 token）之前持续改善。对于固定数据集，更多的训练步数在一定范围内也有帮助，之后不对齐率趋于平稳（见附录 C.2）。下面我们给出几种可能的解释，说明故事效果为何趋于平台期：

我们提醒，这些比较并未隔离出每种训练方法中哪个方面使其更有效。两个数据集在格式、训练阶段以及与评估设置的相似程度上均不相同。困难建议虽然仍是 OOD，但与评估共享聊天格式以及对伦理决策的关注。我们将在讨论部分回到可能解释这一差异的原因。

图 3. 困难建议的有效性强烈依赖于教师模型的选择，而虚构故事对其依赖较小。我们用相同的流程在不同教师模型生成的数据上训练 Qwen 2.5 32B（每个教师 1400 万故事 token 或 1000 条困难建议样本），并用 AM 评估对每个模型进行评估。

我们发现教师的选择对故事和困难建议都有影响，但对困难建议的影响强得多（图 3）。来自不同教师的虚构故事将不对齐率降至 43%（Claude Sonnet 5）到 52%（GPT-5.6 Terra）之间。对于困难建议，差距大得多，Terra 将比率降至 21%，而 Sonnet 仅降至 44%。最佳教师也取决于数据格式。Terra 写的故事效果最差，但建议最有效；而 Sonnet 写的故事最有效，但建议效果较差。

教师的有效性也不遵循通用能力。在 Artificial Analysis Intelligence Index 上，针对我们的推理设置，教师的排名如下：Claude Sonnet 5、GPT-5.6 Terra、Claude Haiku 4.5 和 GPT-5.4 nano。推理努力程度也不能预测有效性（详见附录 A.1）。GPT-5.4 nano 写的故事比 GPT-5.6 Terra 更有效，然而 GPT-5.6 Terra 在生成困难建议方面大幅优于 Claude Sonnet 5。关于 GPT-5.6 Terra 为何是有效教师的初步实验表明，回复的写作方式比使用哪些提示更重要，且 Terra 的优势并非来自教授拒绝（附录 B）。在五个更大的开源模型上，GPT-5.6 Terra 的建议至少与 Claude Sonnet 5 的一样有效，在其中三个上明显更有效（附录 C.3）。这些差异的驱动因素仍是一个开放问题，我们在讨论部分提供了一些可能的解释。

图 4. 对于两位教师，AI 通过行动展示其价值观的故事比 AI 背诵其原则的故事更能降低不对齐。Qwen 2.5 32B 基础模型在 1400 万 token（约 11000 至 14000 个故事，取决于教师）的具身或背诵故事上训练，随后进行指令微调混合，所得的平均不对齐率。

（原文较长，此处译出前 6000 字，完整内容请点「打开原文」。）