
Quark团队以约4200美元完成165M参数模型全流程训练并开源
来源标题:Quark: Our whole training stack, end to end, for $4,200
Quark团队用约4200美元算力(约1300 H100小时)完成了165M参数、128K上下文模型从数据生成到强化学习、评估和发布的全流程训练验证。该模型在同等规模开源模型中基准平均分最高,其中一个版本仅靠强化学习就学会了简单智能体任务。四个检查点已以Apache-2.0协议开源。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
在我们扩大规模之前,我们需要证明技术栈的每个部分都能正常工作。Quark 就是这一证明:一个 165M 参数、128K 上下文的模型,我们从原始数据开始,经过预训练、长上下文训练、强化学习、评估和发布,整个过程花费了约 4,200 美元算力。其中一个版本仅通过强化学习就学会了简单的智能体任务,四个 checkpoint 今天全部以 Apache-2.0 协议发布。
在我们为一个大型模型投入大量资金之前,我们需要知道技术栈的每个部分都能正常工作:数据、架构、大规模预训练、上下文扩展、强化学习、评估和发布。Quark 就是这次测试,端到端跑完。它是一个约 165M 参数的语言模型(不含 embedding 为 140M),我们带它走过了每一个阶段,从第一个数据生成任务到最后一个强化学习步骤,花费约 4,200 美元算力,约 1,300 H100 小时。这个总数包括了一次被放弃的初始设计、失败的尝试、数据生成和每一次评估。这项工作的算力部分由 lium.io 赞助。
它最多可读取 128K token,在同等规模、相似 token 预算训练的开放模型中拥有最佳基准平均分,其中一个版本仅通过强化学习就学会了回答、思考和调用工具,没有监督微调阶段,也没有蒸馏。四个 checkpoint 今天全部在 Hugging Face 上以 Apache-2.0 协议发布。
技术报告包含细节:架构、训练阶段、完整的成本明细、每一项评估及其局限性。
架构。语言模型的大部分行为是局部的,所以 Quark 的 16 层中大部分只关注附近。十二个局部层将对最后 256 个 token 的注意力与一个短卷积结合,每第四层是全局层,关注整个上下文。第一层之后的每个注意力层还通过一个学习到的门控复用第一层的 value,即我们 MGVR 工作中的多头门控 value 残差。这个设计在推理时带来回报:只有四个全局层保留完整的 key 和 value 缓存,因此在 128K token 时,bf16 下缓存约占 0.5 GiB,是同一模型所有层都为全局层时所需的 2 GiB 的四分之一。
预训练。在单个 8×H100 节点上对 500B token 采用 warmup-stable-decay 调度:1K 上下文下短暂 warmup,4K 上下文下以恒定学习率训练 470B token,然后在 32K 上下文下进行 28B token 的退火。数据主要是英文网页文本、数学和代码,辅以多语言网页文本、带已验证答案的推理轨迹和合成长上下文文档。我们还发布了退火前的最后一个 checkpoint,Quark-150M-32K-Raw,因为退火前的权重是继续预训练的自然起点,且很少被公开。
可靠性。预训练期间,节点宕机了七次,任何一次重启都没有出现 loss 尖峰。前两次我们手动恢复;之后,自动恢复在节点恢复后两到四分钟内重启训练。恢复是精确的:数据顺序仅由步数决定,因此重启的运行看到的 token 与它本应看到的完全相同。
上下文扩展。128K 模型从该运行结束前不久分支出来,在另外 10B token 的 128K token 序列上训练:书籍、长文档、arXiv 论文、长上下文指令遵循和合成工具使用会话。
强化学习。Quark-150M-128K-Zero 从 128K 基座开始,使用 GRPO 训练,没有监督微调阶段,也没有蒸馏:没有任何由其他模型撰写的文本成为训练目标。约 95% 的奖励来自代码:精确答案、格式规则、单元测试和真实沙箱中的文件检查。LLM 评判员对其余部分打分,例如聊天回复、创意写作和对价值问题的第二意见,没有使用任何人工标注。这次运行用了不到 1,300 步,约 32 小时。我们在分数仍在上升时提前停止,以控制在预算之内。
评估与发布。下面的每个数字都来自我们自己的运行,Quark 和对比模型使用相同的 harness 和设置。四个 checkpoint 随附建模代码、tokenizer、聊天模板和模型卡,模型卡展示了未经挑选的样本,包括失败案例。
我们使用 lm-eval harness(0.4.13)在 Quark 以及 120M 到 170M 参数、训练 token 最多约 500B 的开放模型上运行了九个零样本基准,全部在我们的运行中于 2026 年 11 月完成。分数单位为 %。
HellaSwag、ARC-Challenge 和 OpenBookQA 使用归一化准确率,BLiMP 是其 67 个子任务的平均值,Pythia 以 float32 运行,因为它在 bf16 下会退化。Quark-150M-128K-Base 在其组中拥有最佳平均分 52.8,并在九个任务中的六个上领先。Mamba-130M 在 LAMBADA 上领先,在 PIQA 上略微领先,BLiMP 是 Quark 最弱的任务。该组中没有其他模型在超过 8K token 的序列上训练过。最后一行的 SmolLM2-135M 在 2T token 上训练,token 数是四倍,算力约为三倍,在九个任务中的七个上得分更高。Quark 在 WinoGrande 和 SciQ 上领先它。
对于长上下文,我们在留出的合成任务上评分 teacher-forced token 检查准确率:参考文本给到答案之前,模型的预测必须与答案 token 匹配。在 128K token 时,128K 模型在八个任务族中的五个通过了每一项检查:needle retrieval、conversation recall、event counting、ledger arithmetic 和 variable tracking。Key-value lookup 通过了八项中的四项,quote attribution 在每个长度上都失败。这些检查显示模型是否检索到正确的值,而不是自由生成是否能达到它。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。