Verne发布开源机器人基础模型Verne V0.5

今天我们发布 Verne V0.5，这是一个开放权重的世界动作模型，旨在加速通用机器人在工业场景中的部署。在 LIBERO 和 RoboTwin 2.0 基准测试上，V0.5 是发布时由美国公司开发的最领先的开放权重模型。我们开放其权重，是因为我们相信机器人技术的未来在于后训练和部署——让一个能力强大的模型在真实设施中学习一份真实的工作。一家将通用机器人投入实际使用的公司，应当能够基于一个开放的共享模型进行构建，并按自己的方式对其进行适配。我们希望美国能拥有一个强大的这样的模型。

Verne 部署的机器人帮助美国企业实现更大的建设与梦想。我们的机器人不仅仅降低成本，它们推动生产力帕累托前沿向外扩展，承担半导体洁净室、冷库和大型仓库中高要求、高消耗的工作。这种部署经验既塑造了我们开发的模型，也塑造了我们围绕模型构建的工具。

在 Verne，我们相信每家企业都能从通用机器人中受益。要将机器人带给每家企业，需要许多具备深厚运营经验的团队。借助 V0.5，这些团队可以从一个前沿模型出发，而不必从零开始训练。

我们对这一平台的承诺源于我们自己在部署中遇到的需求：高效学习新任务、适应不同环境，并在生产中可靠运行。我们将继续推动世界动作模型的前沿，同时改进工具，帮助团队将这些能力转化为成功的部署。

除了开放权重，我们还推出一个微调平台，使团队能够使用自己的示范数据将 V0.5 适配到自己的任务上。我们还为希望直接与我们合作解决其用例的合作伙伴提供定制部署服务。模型、平台和服务共同为团队提供一个可以独立构建的基础，同时在他们将机器人投入生产的过程中，可获得 Verne 的专业知识和支持。

在本文中，我们分享 V0.5 的技术细节、Verne 技术栈，以及我们在构建这些内容过程中的经验。

我们的目标是让双臂移动机器人完成工业中常见的复杂、长时程任务。这些任务有许多步骤，覆盖很大的工作区域。机器人必须跟踪任务进度并从失败中恢复。随着工作变化，机器人必须适应，同时保持生产速度和精度。

Verne 技术栈正是为此而构建。它由三部分组成：V0.5 模型、数据和训练系统，以及推理与控制软件。它们共同提供四项能力：

全屏 方法 系统概述 在运行时，V0.5 与我们的推理和控制软件构成四个层次。任务目标从顶层输入，电机指令从底层输出。V0.5 是策略层，即四层中的第二层。另外三层分别是高层推理层、执行层和控制器。

高层推理层与策略层之间的划分遵循人类思维的两个系统：系统 1 快速且自动，系统 2 缓慢且深思熟虑。1 策略层 V0.5 是系统 1。高层推理层是系统 2。NVIDIA 的 GR00T N1 和 Figure 的 Helix 采用了类似的双系统设计。2,3

我们的数据采集面向工业工作流。我们在超过 170 万条示范数据上预训练 V0.5，这些数据来自数据供应商、开源数据集和我们自己的采集。在预训练语料中，我们主要关注遥操作数据和来自手持夹爪（类似于 UMI 夹爪）的数据。4 除预训练外，我们使用遥操作和与机器人末端执行器共同设计的手持夹爪来记录自己的后训练数据。我们机器人上的任务特定后训练仅使用 Verne 数据。

预训练和后训练中的数据质量对我们模型的成功至关重要。为支持这一点，我们创建了自动化数据质量流水线。我们检查每条记录的时序、运动质量，以及其指令是否正确描述了所演示的动作。

数据标注和注释对于我们后训练过程的成功至关重要，以确保稳健的语言可操控性。为此，我们创建了一个半自动标注流水线，为我们的后训练示范片段提供有依据的子任务语言注释。我们借鉴 BLADE 的经验，应用半自动标注来找出机器人执行的子任务。5

性能在预训练期间持续提升。在未进行微调的情况下，随着预训练数据从 29% 增加到 100%，RoboTwin 2.0 成功率从 23% 上升到 51%（图 3）。我们观察到强烈的缩放规律，类似于 Generalist AI、Physical Intelligence 和 NVIDIA 所报告的结果。我们现在正将数据规模扩大 10 倍。

V0.5 是一个世界动作模型（WAM）：它学习同时预测机器人接下来将看到什么以及它应该做什么。学习场景如何变化有助于模型学习如何在其中行动。在训练中，视频 transformer 和动作 transformer 通过掩码注意力交换信息并共同学习，各自拥有自己的流匹配目标（图 4）。Fast-WAM、Motus 和 VPP2 是相关的视频—动作模型。6,7,8

视频生成模型是学习场景如何变化的强起点。但机器人操作对它们来说是分布外的：相机视角、运动以及与物体的接触与它们学习过的视频几乎没有相似之处。VPP2 展示了这一差距，以及将视频模型适配到操作任务所带来的收益。8 V0.5 从 Wan2.2 视频模型出发。9 我们扩展其架构，并在超过 170 万条示范数据上预训练。我们分三个阶段训练 V0.5，从机器人视频到机器人控制，再到特定任务（图 5）：

（原文较长，此处译出前 6000 字，完整内容请点「打开原文」。）