VFlash:面向物理AI的通用解码框架,并行生成视觉规划加速机器人推理
来源标题:VFlash: Enabling System-1 VLMs for Physical AI
VFlash 是一个面向物理AI的通用解码框架,通过并行生成完整视觉基元,让机器人和自动驾驶的推理更快、轨迹更准。它利用视觉基元的已知结构做投机解码,轻量草稿模型可在一次并行草稿中输出完整视觉基元,空间精度超过其自回归目标模型。输出涵盖边界框、轨迹、稠密运动与文本。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
面向物理 AI 的通用解码框架:实现快速、准确的视觉规划。并行解码完整基元,让机器人与自动驾驶推理更快。涵盖框、轨迹、稠密运动与文本。
具身模型未必以文本思考,它们也可以视觉规划的方式思考。预测在哪里抓取、如何移动、场景将如何演化,在机器人与自动驾驶汽车的感知与行动之间架起桥梁。然而,智能体必须不断更新这些规划,而坐标 token 的自回归生成使得详细视觉规划的生成成本日益高昂。
我们提出 VFlash,一个面向物理 AI 的通用解码框架,围绕一个核心洞察来改造 VLM 投机解码:视觉基元的已知结构可以被利用,从而在不复现自回归目标精确 token 的情况下实现空间精度。一个在标注几何数据上训练的轻量 drafter 可以并行草拟出完整的视觉基元,并取得比其自回归目标更准确的机器人轨迹。
对物理 AI 而言,使用固定 block size 的投机解码并非最优。通用解码必须适配丰富的输出类型、已知结构,以及按需指定的长度。
典型输出既包括文本,例如思考和子任务规划,也包括视觉基元,例如用于操作和驾驶的框、点、深度以及 2D/3D 轨迹。
点、边界框和轨迹具有已知的几何结构。这一结构使 block 能够覆盖整个基元,同时为 token 位置分配坐标角色。
通用解码器必须支持可变输出长度。NAVSIM 要求 4 秒内 8 个路点,Waymo 为 5 秒内 20 个,Alpamayo 为 6.4 秒内 64 个。
VFlash 通过系统化的并行解码设计,支持丰富的物理 AI 输出。通用的 token 窗口无法捕捉某个基元的起止位置。
工具调用声明输出长度,而基元类型则指定坐标布局。利用冻结的 VLM 上下文,轻量 drafter 在一次并行前向中预测整个基元。随后目标 VLM 处理该规划,以更新其上下文并提取用于下游动作的特征。
对观测和指令编码一次,以构建目标上下文。
训练与解码的 block 应与完整基元边界对齐,使 drafter 能够整体学习和预测完整的几何结构,而非被固定 token 窗口切分的片段。VFlash 引入结构化的工具调用,用以声明可变尺寸基元的长度;其类型决定坐标布局。Flash Primitive Decoding 为完整几何分配一个 block,并在冻结的 VLM 特征条件下,通过一次并行草拟填满整个基元。
在并行预测开始前,每个输出位置都需要一个已知角色。不同的坐标值可能占用不同数量的文本 token,从而使后续位置发生偏移。我们使用专用坐标 token 或固定宽度数值字段,以保持路点、轴和分隔符位置的一致性。这种一致的布局支持对每个位置施加约束的并行预测。
目标 VLM 保持冻结,同时我们在标注几何数据上训练一个轻量 drafter。该 drafter 包含五个非因果 transformer 层,并在标注基元上以 token 交叉熵进行训练。它并行预测完整的视觉基元,无需 token 级别的一致性。子任务文本则以投机方式解码,并由目标 VLM 验证。
相对于自回归(AR)解码,VFlash 在 ShareRobot-Bench 和 VABench-V 上降低了全部六项轨迹误差指标。在三个机器人数据集和三个目标变体上,平均 3D 位移误差(ADE)相对于自回归目标下降了 42.6%。
VFlash 并行预测完整的 2D/3D 轨迹。让训练与解码的 block 匹配基元边界,使 drafter 能够整体学习和预测完整的几何结构。在所有评估的 2D/3D 机器人设置中,轨迹误差均下降,包括平均 3D 路点误差。
在冻结的 MolmoMotion-AR 下,VFlash 将 DAVIS 的平均位移误差降低了 27%,并在稠密 3D 运动预测上达到可比的整体质量。在 batch size 为一的 H100 上,单次 rollout 生成约快 25×。VFlash 将查询点的每个未来帧作为一个 block 草拟。
在 COCO 和 Dense200 上,VFlash 每秒输出的框数量提升 2.6–2.8×,平均 F1 接近自回归目标。Flash Primitive Decoding 在一次并行草拟中预测一个框的所有坐标。每个 block 覆盖一个框,后续 block 处理更多物体。
同一个 drafter 对子任务文本保留经过验证的解码。文本使用 16 位置的 block:一个被接受的锚点和 15 个提议。目标在一次前向中验证该 block,并保留最长匹配前缀加上其自身的下一个 token。对于所示示例,两种方法产生完全相同的子任务描述。
下游的世界动作模型和扩散动作头架构不同,但共享一个共同设计:它们通过交叉注意力关注编码所生成视觉规划的 VLM 特征。我们通过将 VFlash 预测的基元传入目标 VLM 来获得这些特征。动作模型针对机器人操作或驾驶进行训练,而 VLM 保持冻结。
机器人策略是一个世界动作模型(WAM),通过对 Cosmos-Predict2.5 进行后训练以获得控制能力。它保留其相机和机器人状态输入,并通过其现有的交叉注意力通路接收冻结 VLM 的问题、子任务和轨迹特征。该 WAM 预测 20 步动作块,并每三个块重新规划一次。VFlash 达到 70.2% 的平均成功率,而基线为 62.6%。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。