返回资讯中心
外部精选
软件工程
#开发者实时流

Hugging Face 为 Transformers 引入模型集成契约,防止 UMT5 类缺陷再次进入主分支

来源标题:Transformers Model Integration Contracts

Hugging Face 为 Transformers 引入 Model Integration Contracts(MICs)机制,用代理构建轻量测试模型来拦截集成缺陷。起因是 2026 年 7 月 30 日启用 T5 的 SDPA 后,UMT5 解码器可关注未来 token,该缺陷在 main 分支存活近两个月。一个在 CPU 上运行的小型 UMT5 模型重放提交时在每次提交上都标记出了该问题。

Hacker News 最新Brajeshwar2026/11/3 · 14 天前22 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

回到文章 a]:hidden"> Transformers 模型集成契约 已发布 2026年11月3日 在 GitHub 上更新 点赞 8 +2 Tarek Ziadé tarekziade 关注 :last-child]:mb-0"> 为什么 bug 会进入 main 介绍模型集成契约 UMT5 回归问题 模型如何被缩小 用 agent 构建 MIC 随机 vs 过拟合 待解问题 2026 年 7 月 30 日,Transformers 为 T5 启用了 PyTorch 的缩放点积注意力(SDPA)。作为副作用,UMT5 的解码器可以关注到未来的 token。在训练期间,它可以偷看它本应预测的答案。没有任何东西崩溃,这个 bug 在 main 上停留了将近两个月。后来我们回放那些提交时,一个在 CPU 上运行的小型 UMT5 模型在每一个提交上都标记出了它。这篇文章讲的就是那个模型以及围绕它构建的测试。

为什么 bug 会进入 main Transformers 支持超过 750 种模型类型,其测试套件规模庞大:main 上有 88,000 多个 CPU 测试,加上每日运行中 200,000 多个 GPU 测试。模型测试只是其中一部分:我们还会测试 pipeline、训练、分布式执行、量化和注意力 kernel。集成测试会加载真实 checkpoint,并在真实硬件上调用模型的 API。如果在每个 PR 上都运行所有这些,就意味着要整天占用大量 GPU,这不现实。等到定时运行发现回归时,它可能已经进入 main 了。我们的做法是把模型缩小。我们构建一个 fixture:用真实 checkpoint 的配置做一个小模型,层数更少、维度更窄,但保留它拥有的每一种层,并且 tokenizer 和 processor 文件保持不变。它发布一次,然后重复使用。我们在廉价的 CPU runner 上对它运行“快速集成测试”。在我们的 CPU 研究中,实验性的 UMT5 fixture 只用了 66 MB 权重;源 checkpoint 是 1,227 MB。这也覆盖了非常大的模型:有些模型放不进我们的标准 GPU runner,但它们的 fixture 可以在 CPU 上运行。模型集成者已经在构建微型测试模型(Transformers 的 tiny-random-* checkpoint)。我们想要一个通用的配方,以及超越加载模型和运行一次前向传播的检查。UMT5 的 bug 本来是可以轻松通过前向传播的。Fixture 不会取代完整的集成测试,但在 PR 上,它们给了我们在 bug 进入 main 之前抓住它们的机会。

介绍模型集成契约 transformers-mic 是一个用于打包这些测试的拟议标准。一个模型集成契约(MIC)有三个部分:如果在该 fixture 上运行使用路径仍然产生基线结果,则契约成立。契约覆盖的是一个架构和一条使用路径,而不是单个 checkpoint:兼容的 checkpoint 可以共享一个 fixture,同时各自保留自己的预期结果。我们将它们发布在 huggingface-mic 上。例如,SmolLM 契约从“The capital of France is”这样的提示生成,并将其 token ID 与记录的答案进行比较。在加载模型和 tokenizer 之后,生成代码简化为一个提示: inputs = tokenizer("The capital of France is", return_tensors="pt") outputs = model.generate(**inputs, max_new_tokens=4, do_sample=False) new_tokens = outputs[:, inputs["input_ids"].shape[1]:] print(tokenizer.batch_decode(new_tokens, skip_special_tokens=True)) 它还会比较训练损失,检查梯度是否有限,并验证优化器步骤会改变权重。参见完整的 usage.md。Hub 上的一个 fleet 数据集将每个 MIC 固定到一个冻结的 revision,以及用于记录其基线的包版本。每次 CI 运行都会记录它使用的 fleet revision,这样我们以后可以复现它。在 PR 上,我们根据补丁更改的文件来选择 MIC。

UMT5 回归问题 我们在五个月的 Transformers 提交上回放了冻结的 MIC。小型 UMT5 fixture 从 2026 年 7 月 30 日引入直到 9 月 28 日修复期间,一直标记出这个回归。标签对数概率与审查过的基线相差 1.22,训练损失相差约 0.20。有一个细节很重要:契约使用了 SDPA,即默认的注意力路径。只运行 eager 注意力变体会漏掉这个 bug。只有当 fixture 走与真实 checkpoint 相同的代码路径时,它才有帮助。然后我们在 Transformers 的 CI 中的一个证明分支上回滚了修复。检查以相同的差异失败,并且选定的 T5 契约的 runner 步骤在 CPU 上耗时 13.4 秒,不包括设置时间。回放结果和 CI 演示中有测量数据和复现细节。

模型如何被缩小 第一个配方很简单:把维度变小,保留更少的层。这对混合架构来说还不够。如果两层都使用滑动注意力,而全注意力层消失了,那么保留两层也没用。我们还保留原始权重文件格式。否则我们就会跳过用户加载真实 checkpoint 时运行的转换代码。完整配方有更多细节。Llama 4 Scout 缩小报告展示了这在大型模型上的样子。1086 亿参数变成 4470 万。视觉栈从 34 层变成 2 层,语言栈从 48 层变成 4 层,保留受检的层类型和 MoE 路由风格。

用 agent 构建 MIC 我们的 CLI,tmic,创建契约并构建 fixture。对于新模型,LLM 起草使用代码和清单,CPU 和 GPU 运行测量候选基线。LLM 起草;它不批准。更改预期需要人工审查。要在你的机器上试用,请用你的源 checkpoint 替换 org/model: pip install "transformers-mic[runtime]" "hf-doc-builder @ git+https://github.com/huggingface/doc-builder.git" hf auth login tmic run org/model --local-only --fixtures-only --no-history --bill-to '' 它起草契约,构建 fixture 并在你的机器上记录其基线,要求你审查每一步,并在上传任何内容之前停止。对于新模型,草案来自通过 Inference Providers 的 LLM,费用记在你的账户上(--bill-to '')。CLI 文档涵盖了各个步骤。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →