返回资讯中心
外部精选
软件工程
#开发者实时流

研究拆解多模态视觉编码的三种设计选择

来源标题:Unbundling Multimodal Vision Encoding

一项研究通过从零训练所有模型,在相同数据、骨干架构和训练配方下匹配生命周期算力,逐一检验多模态视觉编码的三个设计选择:独立预训练带来的视觉先验、专用视觉容量、以及融合前的放置位置。结论是视觉需要自己的参数,但不需要自己的预训练或独立编码器。Kimi K3 已采用从零训练编码器的方式。

Hacker News 最新gmays2026/11/17 · 今天30 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

*同等贡献,顺序随机 †同等指导 arXiv alphaXiv PDF Ellis Chris BibTeX 目录概览 概览 §2三个选择 §3视觉先验 §4专用容量 §5放置位置 §6超越生命周期计算量 FAQ 引用 回放 大多数多模态模型通过一个预训练的视觉编码器来“看”,这个编码器捆绑了三个设计选择:来自单独预训练的视觉先验、专用的视觉容量,以及该容量在融合前的放置位置。我们通过从头训练每一个模型来逐一检验这些选择,所有模型使用相同的数据、骨干架构和训练配方,并在匹配的生命周期计算量下比较这些选择。§2 实验设置 ↓

视觉需要自己的参数,而不是自己的预训练或自己的编码器。 大多数多模态模型从一个为独立目标(如图像识别或图像-文本对齐)预训练的视觉编码器中获得视觉理解能力。近期的配方丢弃了这套设置中的部分内容。Kimi K3 用多模态骨干从头训练其编码器,而无编码器模型则将图像 patch 直接送入骨干。每种配方对编码器贡献了什么(如果有的话)给出了不同的答案。 试着将鼠标悬停在每个配方上。试着点击每个配方。 已发表的模型在数据、架构、训练阶段和计算量上各不相同,因此比较它们无法隔离出任何一个选择。对预训练编码器的受控研究(McKinzie et al., 2024; Tong et al., 2024; Fan et al., 2025; Li et al., 2025)固定了多模态阶段,但它们改变的是编码器引入了哪种先验,而不是它是否需要先验。它们还将编码器预训练视为免费,尽管例如 SigLIP 2 是在 40B 图像-文本样本上训练的。我们则自己运行每一个训练阶段,从随机初始化开始。 回放 已发表的模型在各方面同时不同。我们固定除视觉编码配方之外的一切。 每个配方都在相同的文本和图像-文本对上预训练,图像为 224×224。Avg. VQA 是在 Cambrian-7M 上用 448×448 图像进行指令微调后,对 16 个 Cambrian 基准的四个类别均值取平均。Avg. Text 则对 12 个语言基准做同样的处理。 在固定的生命周期预算下,编码器预训练与多模态训练争夺计算量。我们用四种目标(对比学习 MetaCLIP、自监督 WebSSL,以及用 Cap 和 CapPa 进行描述生成)在相同的图像上预训练同一个编码器,在多模态训练期间更新它,并将其与用骨干从头训练的编码器进行比较。 回放Avg. VQAAvg. Text 一份预算,在预训练和多模态训练之间分配 Scratch MetaCLIP WebSSL Cap CapPa Avg. VQA (%) 更长的预训练,不计入预算 MetaCLIP 预训练 多模态训练 在匹配的生命周期计算量下,编码器预训练并无益处。更长的预训练,即使免费,也能改善识别,但不能改善 VQA。左:一个 1.7B 骨干,固定 1.04×1022-FLOP 生命周期预算。右:不计入预算的 MetaCLIP 预训练,随后是相同的多模态训练阶段。 在 1.7B 和 4B 规模下,MetaCLIP 在每个预算下都落后于从头训练的编码器,在最大的 4B 预算下落后 1.8 个 Avg. VQA 点。 无编码器模型丢弃编码器,用线性嵌入将每个图像 patch 直接映射到骨干中。移除编码器也移除了它的参数,并改变了原始 patch 进入骨干的方式,因此差距可能反映更少的参数、较弱的 patch 嵌入,或缺失的专用容量。 回放Avg. VQAAvg. Text Scratch 编码器 无编码器 Avg. VQA (%) 无编码器在 Avg. VQA 上落后于编码器,而 Avg. Text 保持相当。每个点是一次学习率衰减的运行。箭头标记无编码器需要多多少计算量才能匹配编码器的 Avg. VQA。 在各预算下,无编码器在 1.7B 时落后 4.1–6.4 个 Avg. VQA 点,在 4B 时落后 2.8–6.8 个点。为了检验差距是否仅仅源于编码器的额外参数,我们给无编码器骨干提供编码器的 0.4B 参数,作为额外的宽度、深度或两者兼有。 回放 匹配总参数并不能弥合与从头训练编码器的差距。增加的参数改善了 Avg. Text,因为文本 token 也使用它们,但 Avg. VQA 最多只移动 0.4 个点。 更丰富的 patch 嵌入也不能弥合差距。在相同的 224×224 图像上训练,受 Gemma 4 启发的两层投影有所帮助,得分为 40.5 Avg. VQA,而线性默认值为 39.0,但仍远低于编码器的 44.4。一个四层分层 MLP,如 Inkling 中的那样,只有当它将 640×640 图像压缩到相同的 256 个 token 时才能匹配编码器。 编码器的参数是专用的,仅由视觉 token 使用,并且是融合前的,在视觉和文本交互之前运行。为了区分两者,我们将编码器的 0.4B 参数预算移到融合内,放入共享骨干内的仅视觉模块中。 将预算保持在 0.4B 参数,我们改变它的去向以及哪些 token 使用它。 回放 增加的容量在保留给视觉 token 并放置在早期时帮助最大。每一行给 1.7B 无编码器骨干(2.6×1021 FLOPs)增加 0.4B 参数。前八层中的仅视觉 FFN 分支是融合内的(仅 FFN)。条带显示 28 层。灰色被所有 token 使用,蓝色仅被视觉 token 使用,越高表示越宽。 放置在前八层时,仅视觉 FFN 分支匹配从头训练的编码器(45.0 对 44.4),而其他放置位置并不比无编码器更好。早期放置对 OCR 和图表问题帮助最大(36.0 对无编码器的 25.2),这些问题依赖于精细的视觉细节。以默认的前八层为基准,融合内(还增加了仅视觉的注意力投影)保持与编码器相同的专用预算。 回放Avg. VQAAvg. Text Scratch 编码器 无编码器 融合内 Avg. VQA (%) 融合内在整个训练过程中与融合前编码器相当。它也与编码器的 Avg. Text 差距保持在一个点以内。无编码器作为参考展示。 §5.4规模

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →