返回资讯中心
外部精选
软件工程
#开发者实时流

开发者分享在长上下文样本上微调Qwen3.6-27B的实践笔记

来源标题:Musings on long-context fine-tuning

一位开发者记录了在约7万token的长上下文多模态样本上微调Qwen3.6-27B视觉语言模型的经验。其中约6.4万token来自反复出现的系统提示,模型需根据图文输入输出结构化结果。作者选择保留提示中的指令以便后续更新,而非将其固化进模型权重。

Hacker News 最新eigenBasis2026/11/15 · 3 天前30 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

关于长上下文微调的思考

在长上下文样本上训练一个 27B 视觉语言模型的笔记。

我最近微调了 Qwen3.6-27B,这是一个开放权重的视觉语言模型,任务是多模态的:输入一个图文对,输出一个结构化响应。每条训练样本由三部分组成:包含指令集的 system prompt(规则、边界情况和工作示例),图文输入(我称之为 item),以及目标输出。一条完整样本最多约 70K token。其中约 64K 是 system prompt,item 和 target 加起来最多几千 token。每个指令集被一大组样本共享,所以同一个很长的 system prompt 会在训练数据中反复出现。本文中的 token 数经过取整,张量大小是按模型维度针对一条 70K token 样本计算出来的。

我把指令保留在 system prompt 里,是因为它们会随时间变化。如果模型只通过权重学习这些指令、prompt 中不带指令,那么每次变更都得靠训练灌进去。针对新行为做持续微调是更便宜的做法,但当旧指令已经烙进权重时,这往往会导致灾难性遗忘,模型会丢掉之前学到的东西。要做好这件事还需要反事实样本,也就是同样的 item 在旧指令下和新指令下各自对应的 target,而这样的样本我手里非常少。把指令放在 prompt 里,模型被训练成遵循 prompt 所说的内容,于是变更可以从修改指令开始,而不必重新跑一次训练。我也试过更短的指令版本,但它改变了模型的决策,所以每条样本都保留了完整文本。

这个模型在推理时 routinely 处理 70K token 的输入,但在这种输入上训练要占用多得多的内存,因为反向传播需要前向传播每一层的中间结果。损失只在目标输出上计算,但目标 token 会读取指令 token,所以梯度会回传经过全部 70K 个位置。单条样本在单张 80 GiB H100 上就几乎把它占满。

本文前半部分讲的是如何让一条全长样本走完前向、反向和一次优化器更新:内存预算、Triton 自动调优、某个 LoRA adapter 中的 dropout、FSDP 下的集合通信挂起,以及一次 adapter 收到零梯度的运行。后半部分讲的是,对于共享同一指令集的样本,我如何只计算一次 system prompt,让 75 到 90 条样本在同一个缓冲区里从它分叉出去。在标准 transformer 上,attention mask 会把这几条样本隔开,但 Qwen3.6-27B 的 64 层中有 48 层是循环层,根本不看 mask,所以如果不做额外处理,每条样本都会看到前一条样本的目标输出。

早先的工作流是每张 GPU 一条样本,每次要跑 5 到 7 天。而共享指令的两轮训练,包括验证和保存权重,不到 20 小时就完成了。两者用的数据混合和调度不同,所以这个加速比混合了共享带来的效果和这些差异。实际效果是把我的实验周期从以周计变成了隔夜完成。

在 BF16 下,27B 参数约占 54 GB,而 Fully Sharded Data Parallel(FSDP)把权重、梯度和优化器状态分散到各张 GPU 上,所以在 64 张 GPU 上每张只存不到 1 GB 的分片,并且只在某层运行时才收集该层的完整权重。LoRA 进一步缩小了可训练部分,因为基础权重保持冻结,只有小的 adapter 矩阵获得梯度和优化器状态。[1] [2]

激活值随序列长度增长,因为算子之间传递的几乎每个张量都是每个 token 一行。FSDP 不切分激活值。每张 GPU 跑完自己的整条样本,并持有该样本的激活值。我也没有把单条样本的序列切分到多张 GPU 上。在一次容量测试中,从 64 张 GPU 增加到 128 张,每个权重分片减半,而激活值大小完全不变。

直观感受一下规模:一条 70K token 样本的单个 hidden-state 张量形状是 [70,000, 5,120],其中 5,120 是模型的隐藏宽度。在 BF16 下约为 0.67 GiB。每一层的前向传播都会产生许多这个大小或更大的张量,而反向传播需要其中的大部分。早期一次没有启用激活检查点的测试,在约 34K token(全长的一半)时、还没完成第一次更新就内存不足了。

激活检查点只保留每个 decoder 层的输入,而不保留所有中间张量,并在反向传播到达该层时重新计算该层的内部。这样 64 层每层仍留下一个 0.67 GiB 的张量,在重新计算任何东西之前就约 43 GiB。重新计算某一层时,又会带回它的前馈中间结果,每个 [70,000, 17,408],约 2.3 GiB,同时还有该层收集到的权重和正在累积的梯度。这 43 GiB 是下限而非峰值,因为临时缓冲区和分配器碎片会叠加其上,而接下来两节中的内存不足错误就来自它之上的分配。[3]

Qwen3.6-27B 的语言主干混合了两种层。64 层中有 16 层使用 full attention,每个 token 与所有更早的 token 比较。另外 48 层是 Gated DeltaNet 层,用一个固定大小的循环状态加上一个短的因果卷积把历史向前传递,更像 RNN 而不是 attention。我把 attention 层跑在 FlashAttention-2 上,它逐块计算 attention,不存储完整的 attention 分数矩阵;循环层则跑在带 causal-conv1d 的 Flash Linear Attention(FLA)kernel 上。[4] [5] [6]

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →