返回资讯中心
外部精选
企业动态
#开源#模型发布

Dharma-AI研究:微调任务实际耗时远超FLOPs估算

来源标题:Why your fine-tuning job takes longer than the FLOPs say

Dharma-AI团队基于272次生产运行发现,仅按FLOPs估算微调耗时会明显低估实际端到端时间。该团队构建了共享GPU集群上微调任务完成时间的预测方法,并分析了误差来源与适用范围。完整论文即将发布在arXiv上。

Hugging Face Blog2026/11/18 · 今天27 分钟阅读

以下正文由 AI 翻译自 Hugging Face Blog(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

为什么你的微调任务比 FLOPs 估算的更耗时

返回文章 a]:hidden"> 为什么你的微调任务比 FLOPs 估算的更耗时 团队文章 已发布 2026 年 11 月 18 日 点赞 1 Bruno Duarte brunoduarte01 关注 Dharma-AI Gabriel Pimenta de Freitas Cardoso GabrielPimenta99 关注 Dharma-AI Isis F Carvalho isisfc 关注 Dharma-AI Breno de Almeida Beleza BrenoBeleza 关注 Dharma-AI Felipe Lima limafelipe 关注 Dharma-AI :last-child]:mb-0"> 大家用的估算只看计算量 我们构建了什么 数据 结果 预测器依赖哪些信息 误差有多大,出现在哪里 它适合什么场景 局限性 下一步 延伸阅读 基于 272 次生产运行,预测共享 GPU 集群上的端到端微调时间。 这是我们即将发表的论文《Predicting End-to-End Fine-Tuning Time for Generative Language Models》的预览版。完整版将很快发布在 arXiv 上。 GPU 是当今 AI 领域最昂贵、最稀缺的资源之一。任何运行共享集群的人,每天都必须决定哪些任务放到哪些 GPU 上、以什么顺序运行。这个计划的好坏,完全取决于对每个任务耗时的估算。当任务提前数小时完成时,GPU 会闲置到下一个任务被调度过来。当任务延迟数小时时,排在它后面的一切都会顺延,实验要等,交付日期要推后。 更好的耗时估算能把这件事从猜测变成规划:运行什么、什么时候运行、用多少块 GPU,同时减少中间的闲置容量。然而,大多数团队使用的估算只是一个粗略的 FLOP 计算。它说九小时,结果任务第二天下午才完成。 我们想知道这种计算到底偏差有多大,以及我们能否在任务被调度之前就做得更好。于是,我们从生产环境的 NVIDIA H200 GPU 池中提取了 272 个真实的监督微调(SFT)任务,总计约 7,382 GPU 小时,并将分析式估算与学习型预测器进行了比较。 简而言之:常用的基于 FLOP 的估算几乎解释不了我们观察到的结果(R² = 0.31,MAE 12.41 小时)。一个只使用调度前可用信息的 CatBoost 回归器在 5 折交叉验证中达到 R² = 0.98,平均绝对误差为 1.71 小时,中位误差为 0.51 小时。差距来自闭式估算无法做到的两件事。该回归器能看到更多训练特有的信号,例如评估频率、checkpoint 策略、每 GPU 负载和微调方式,并且它从过去的运行中学习这些信号之间的非线性交互。 大家用的估算只看计算量 对于稠密 Transformer,训练成本大约为 6·P·D 次浮点运算,其中 P 是参数数量,D 是训练 token 数。将其除以你的 GPU 能提供的算力,就得到训练循环时间: T_theoretical = (6 · P · D) / (N_GPU · FLOPS_peak · MFU) 这里 N_GPU 是 GPU 数量,FLOPS_peak 是单块 GPU 规格表中的峰值吞吐,MFU(Model FLOPs Utilization,模型浮点运算利用率)是训练实际达到的峰值比例。真实任务永远不会以峰值运行,因为存在内存流量、通信和内核效率低下的问题,所以 MFU 通常在 30% 到 60% 之间,而某个具体任务的正确取值事先并不知道。 这是对优化循环的良好描述。但任务不止是它的循环。在第一步之前,有环境搭建、模型下载和加载以及 tokenization。训练期间有周期性的评估和 checkpoint 上传。结束时,最终模型要写入对象存储。在多租户集群上,所有这些都要与其他任务竞争网络和存储 I/O。 这些开销取决于配置,而且它们不会随工作负载或 GPU 数量整齐地扩展。两个标称计算量相同的任务,完成时间可能相差数小时。 为了保持比较公平,我们测试的 FLOP 基线既计入训练 token,也计入计划内的评估 token,并且我们在很大范围内扫描 MFU。 我们构建了什么 我们将端到端耗时视为一个监督回归问题。给定由任务配置和模型元数据构建的特征向量,预测从任务获得 GPU 到任务完成之间的实际耗时。排队时间不计入。 我们比较了 Linear Regression、Ridge、XGBoost 和 CatBoost。特征选择结合了相关性过滤、互信息和排列重要性,覆盖 18 个候选特征集,随后以 MAE 为准则进行网格搜索。最终的 CatBoost 模型使用 24 个特征。 数据 来自企业生产环境运行日志的 272 次 SFT 运行,覆盖多个模型系列(最大 150 亿参数)、LoRA 和全量微调,以及广泛的数据集规模和超参数范围。 共享基础设施。任务运行在 1、2 或 4 块 GPU 上,这些 GPU 取自横跨 1 到 4 个节点的 8 到 32 块 H200 池,并与其他训练和推理工作负载共存。测得的时间包含真实的资源争用。 耗时从 1.6 到 172.4 小时不等,平均 23.43 小时,中位数 15.29 小时。 技术栈:Hugging Face Transformers 和 Unsloth。我们将技术栈建模为一个类别特征,不对两者之间的固定加速比做任何假设。 272 次运行的端到端耗时分布。平均 23.43 小时,中位数 15.29 小时。 结果 所有数字均来自分层 5 折交叉验证。前四行是分析式的,不涉及拟合。 没有任何单一的 MFU 值能修正 FLOP 基线。我们在 0.25 到 0.65 之间扫描 MFU。最佳设置 30% 在平均耗时 23 小时的任务上仍然留下超过 12 小时的平均误差。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →