Jane Street 研究序列加权随模型规模的变化规律

简而言之：我们研究了内部与开放权重语言模型中数据加权的缩放规律，发现其随规模呈现非单调行为。我们改变训练过程中分配给序列的权重，并测量模型在某个序列上的损失下降在多大程度上取决于该序列的权重。综合来看，我们的结果符合一个总体趋势：当模型从小规模过渡到中等规模时，它们从学习与数据权重无关的通用模式，转变为学习与数据权重成正比的数据特定模式。当模型随后从中等规模过渡到大规模时，它们能够学习数据中存在的所有模式，并且再次与数据权重无关。

在训练神经网络时，我们会花大量时间思考究竟希望模型学到什么。我们有多在意模型在所有编程任务上具备通用智能，而不是特别擅长 OCaml？与最近收集的数据相比，来自较早市场状态的数据有多大用处？一般来说，我们希望在多大程度上提高高质量数据的权重，而不是让模型从所有数据中学习？这些问题归根结底是数据混合问题，是关于如何以及在哪里花费模型的表示能力和 FLOPs 的问题。

让这些问题进一步复杂化的是，在实践中，我们想做的许多实验都昂贵得令人望而却步。即使是在中等规模上，对超参数进行密集的多维网格搜索也是不可行的，更不用说在最大规模上（在那种规模下，对于给定任务我们可能只能训练一个模型）。对此的标准做法是通过缩放律方法来拟合数据混合权重等超参数：我们在小规模上拟合超参数，然后将这些超参数外推到更大规模（典型例子是 Chinchilla 缩放）。缩放律的一个核心挑战是，要使外推成立，大规模模型的行为必须要么 (a) 随规模不变（例如 MuP 式结果，其中许多超参数最优值在不同规模上保持稳定），要么 (b) 可以通过外推小规模行为的变化来预测（例如 Kaplan 式结果，其中损失随规模可预测地下降）。不幸的是，并非所有行为都具有这些特征：有些行为是在规模扩大时涌现的，无法通过缩放律预测。在本文的剩余部分，我们将这类不可预测的缩放行为称为异常行为。

我们的内部实验表明，数据混合是一个特别容易出现异常缩放行为的场景。这与 MAI-Thinking-1 技术报告（第 2.5.2 节）中的发现类似：随着模型规模增大，代码密集型混合与 STEM 密集型混合在训练质量上的相对排序发生了反转。因此，我们着手精确刻画语言模型在多大程度上真正学习数据中与数据混合所赋权重成正比的模式，以及这种行为如何随规模变化。

数据混合实验可能会把数据在语料中的权重效应与其他重要但不同的因素混为一谈。最值得注意的是，数据混合实验的结果会受到不同来源数据质量差异以及任意给定数据源中边缘 token 唯一性差异的严重影响。为了单独分离出混合权重本身的影响，本文专门分析数据加权，这是数据混合的一种变体，其中训练数据集中的每个序列在我们的损失中获得不同的权重。我们通过以下方式衡量模型在给定权重下对训练序列的学习程度：首先为数据集中的每个序列分配随机序列权重，在数据集上训练模型，然后在同一训练数据集上重新评估它。然后我们定义一个指标，即有效序列权重指数（记为 ），它衡量序列权重的哪个幂次最接近与模型在该序列上的预期损失下降成正比（例如， 表示模型在序列上的预期损失下降与序列权重直接成正比，而 表示模型在序列上的预期损失下降对所有可能的序列权重都相同）。

先前的工作对 如何随规模变化给出了混合的预测：(Byrd & Lipton 2019) 以及大规模插值的一般现象预测，更大的模型应渐近趋向于 ，而 Li 等人 2026 发现，在固定每参数 token 数的情况下，有价值领域的最佳 token 重复次数会随模型规模略有增加。我们问：有效序列权重指数是随规模平滑的幂律，还是异常的？

我们在一个内部基于文本的基准上评估序列加权的影响。为了跨模型家族和规模进行测试，我们评估了两个内部预训练 LLM 家族（参数规模从数千万到数千亿）以及一个开放权重模型家族（Qwen 2.5，参数规模从 500M 到 72B）。我们发现了若干异常缩放行为（跨规模推理数据混合很复杂！）以及一些显著趋势。综合来看，我们的结果符合有效序列权重指数先升后降的非单调变化：小规模模型拟合出较小的有效序列权重指数，学习整个数据集中的模式而与数据权重无关；中等规模模型拟合出较大的有效序列权重指数，学习数据中与其数据权重成正比的模式。大规模模型再次拟合出较小的有效序列权重指数，学习数据中存在的所有模式，而不论权重如何。

轮次训练会将有效序列权重峰值移向更小的模型。异常缩放律对我们的模型训练方法来说很不方便，但识别它们可以让我们避免错误的外推。

（原文较长，此处译出前 6000 字，完整内容请点「打开原文」。）