NVIDIA 发布 GR00T 2 世界-动作模型，可零样本完成新任务

我们推出GR00T 2，这是新一代基础世界-动作模型（WAM）。GR00T 2同时预测未来视频和机器人动作，学习物理交互如何展开以及产生这些交互的动作。该模型可运行在平行夹爪、灵巧手和人形机器人上。学习预测世界，而不仅仅是在世界中行动，解锁了三项新能力。

仅由人类展示的技能，或通过手持设备和可穿戴设备展示的技能，可以迁移到从未练习过这些技能的机器人上。

GR00T 2零样本执行许多新任务，并能从少量演示中掌握它们。由于它预测自己正在朝向的结果，推理模型也可以指导它。

GR00T 2 Turbo是为速度而构建的GR00T 2。更小的transformer和更紧凑的视频表示使其轻量到足以在Unitree G1人形机器人本身上运行，在机器人行走、弯腰、伸手和搬运时控制其全身。

一个扩散transformer同时去噪未来视频和机器人动作。预测场景应如何变化，让GR00T 2从人类视频中学习物理规律；小型每机器人头将规划转化为每个身体的电机指令。

GR00T 2读取近期视频、指令和机器人状态，同时去噪未来视频和动作块，执行该动作块，然后重复。画面是GR00T 2在Dexter（天机机器人+Sharpa手）上进行卡车装配的rollout，从头部相机和两个腕部相机以模型自身的320×224分辨率展示。历史面板是模型看到的真实0.8秒。未来面板是GR00T 2从那一刻为所有三个相机生成的视频，而非真实画面。

GR00T 2在一个由三种数据组成的混合数据上预训练：402,730小时的人类工作第一视角视频、10,184小时的手持UMI夹爪跨2,897个任务的演示，以及23,500小时的机器人遥操作数据。机器人数据涵盖平行夹爪机械臂（YAM和Franka）、灵巧手（Sharpa和Wuji）以及Unitree G1人形机器人。人类视频来自我们的第一视角Human-1M数据集，其中100,000小时已作为Human-1M-100K在Hugging Face上公开可用，你可以在Human-1M Dataset Explorer中浏览。

人类视频是混合数据中迄今为止最大的部分。为了衡量它随着规模扩大对机器人的帮助程度，我们在0%、1%、10%和100%的人类视频上预训练了四个模型，然后在72个下游Dexter任务上评估每个模型，既作为视频rollout也在真实机器人上评估。任务进度在每一步都上升，视频rollout中从64%升至77%，机器人上从50%升至70%。

x：预训练中人类视频的占比（对数刻度）。误差条：重复运行间的1个标准差，72个任务。

GR00T 2利用人类视频和其他机器人的数据来学习新机器人的技能。目标机器人不需要自己演示过该任务。我们称之为跨适应，即X-Adapt，并以三种方式展示：从人类到灵巧机器人、从手持夹爪到机械臂、从可穿戴手到机器人手。

上：GR00T 2学习的演示。下：GR00T 2在从未见过该任务演示的机器人上执行同一任务。

每个化学实验室任务仅由戴手套并佩戴头部和腕部相机的人类演示。任务无关的玩耍数据教会Dexter其自身身体的外观和运动方式。

Dexter，每个任务20次试验。仅从人类演示学习、无需遥操作，GR00T 2在全部四个任务上成功。

传送带分拣和抛掷、玩具自卸卡车装配和NIST板拆卸仅通过手持GEAR UMI夹爪演示。YAM仅提供任务无关的遥操作数据，未提供这些任务的任何演示。

点击任务观看。*传送带：50个物品中分拣成功的比例。

GEAR DexUMI是一种可穿戴外骨骼，与机器人手的关节相匹配，因此人用它做的动作直接映射到机器人上。仅从DexUMI演示中，GR00T 2就在配备两只XHAND1手的天机机器人上学习了三个双臂任务：准备香蕉酸奶和舀格兰诺拉麦片（早餐任务的两个部分），以及划火柴点燃烧瓶下的灯然后将火柴在水中熄灭。有关GEAR硬件的更多信息，请查看开源硬件网站。

每个任务仅需少量遥操作数据进行后训练，GR00T 2就能用Dexter的两只22自由度Sharpa手执行长时程灵巧任务：贴包裹标签、更换零件、组装玩具，以及端到端执行化学实验室流程。

从使用锤子的单个人类演示开始，我们在仿真中重建该任务并用强化学习精炼该技能。GR00T 2从该仿真数据中学习，并直接迁移到配备Sharpa手的真实机器人上。

每个任务在小数据集上后训练约六个epoch，GR00T 2从数小时的演示中学习每个任务。

GR00T 2在许多机器人的遥操作数据和大规模人类视频上预训练，并通过预测世界在其行动时如何变化来学习。由于它见过如此多的任务，在一个 embodiment 上展示的技能，或仅在人类视频中展示的技能，可以迁移到从未练习过它的机器人上。我们在50个任务上测试了这一点，这些任务出现在其他机器人的数据或人类视频中，但从未出现在目标机器人自身的数据中：一个配备两只Sharpa手的双臂机器人。

零样本、仅凭指令，GR00T 2在40%的试验中成功，并且在50个任务中的40个上至少成功一次。大多数失败来自执行而非意图：GR00T 2以正确顺序执行正确步骤，但单个步骤在精度上有所欠缺。少量机器人数据即可弥合这一差距。每个任务一次演示将成功率提升至71%，五次演示（不到3分钟的机器人数据）提升至95%，其中50个任务中有37个在每次试验中都成功。每次适应是在单张RTX 5090上进行30分钟的LoRA微调。

零样本按原样运行预训练模型；1-shot和5-shot在每个任务的1或5次演示上用LoRA微调它。

（原文较长，此处译出前 6000 字，完整内容请点「打开原文」。）