
NVIDIA在CoRL发布开放机器人技术,两篇论文入围最佳论文奖
来源标题:Practice Makes Precise: At CoRL, NVIDIA and Partners Reveal How Robots Rehearse Delicate Work in Simulation
NVIDIA在CoRL大会上发布世界动作模型、仿真工具、基准和智能体工作流等开放机器人技术。其两篇论文从数千份投稿中入围最佳论文奖决选,分别为GRAIL(从世界模型生成人形机器人移动操作)和RoboTTT(机器人策略的上下文扩展)。这些技术旨在推动机器人从运动控制转向精细操作任务。
以下正文由 AI 翻译自 NVIDIA Blog(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
仿真一直是机器人学习行走、滚动和跳跃的试验场,如今它正在帮助研究人员训练机器人完成需要更精细触感的任务:对齐齿轮、连接线缆和组装小型部件。
从运动控制到操作技能的转变,成为本周在德克萨斯州奥斯汀举行的机器人学习会议(CoRL)的核心议题,与此同时,智能体机器人(agentic robotics)也在兴起——这是一种新范式,它将前沿智能体集成进来,为物理机器人系统生成可解释的代码。
在 CoRL 上,NVIDIA 推出新的开放机器人技术,包括世界动作模型、仿真工具、基准测试和智能体工作流。
在 CoRL 最佳论文奖的数千篇投稿中,有两篇 NVIDIA 论文跻身六篇入围论文之列:
-
GRAIL(Generating Humanoid Loco-Manipulation from World Models),提出了一套用于机器人学习的 3D 资源和仿真器就绪场景的数字生成流水线。
-
RoboTTT: Context Scaling for Robot Policies,提出了一种机器人模型和训练方法,将视觉运动上下文扩展到超越当前最优策略三个数量级的规模,同时不增加推理延迟。
这些进展帮助研究人员在复杂任务上训练机器人、在变化条件下评估其表现,并利用失败来指导进一步学习——从而构建从实验室演示走向工业部署所需的精度、适应性和自主性。
NVIDIA 正与 Ambi Robotics、Bosch Research、Dexmate、Dyna Robotics、FieldAI、Flexion、Noitom Robotics、Siemens、Skild AI、RLWRLD、UC Berkeley、Walden Robotics 和 University of Washington 等合作伙伴携手,将这些进展带给更广泛的机器人社区。
世界动作模型实现更高层次的机器人自主性
更高层次的机器人自主性要求机器人感知周围环境、预判其行动将如何改变环境,并以高精度执行复杂的多步骤任务。世界动作模型正是为此而生。
在 CoRL 上,NVIDIA 推出 GR00T 2,这是一个基于 NVIDIA Cosmos 构建的开放前沿世界动作模型。该模型在多样化的机器人和人类数据上训练,包括 100,000 小时的 NVIDIA 开源人类第一视角数据,使机器人能够学习灵巧操作技能。关键特性包括:
-
开箱即用性能:在 50 项评估任务中,无需任务特定的演示即可至少完成 40 项。
-
技能迁移:从人类演示中学习,并在不同机器人本体之间迁移技能,无需机器人演示。
-
少数据泛化:每项任务仅需一次演示即可在 50 项任务上达到 71% 的平均成功率,五次演示可提升至 95%。
-
智能体控制:AI 智能体可以使用 GR00T 2 的应用程序编程接口和配套工具,按顺序运行技能并从错误中恢复。
https://blogs.nvidia.com/wp-content/uploads/2026/11/groot-2-shipping-label.mp4
GR00T 2 目前在 RoboCasa365、RoboLab、RoboDojo 和 MolmoSpaces 基准测试的所有视觉语言动作模型和世界动作模型类别中位列前三,并多次登上排行榜榜首。
Nexuni 正在测试其用于机器人洗衣处理,Foxconn 将 GR00T 2 应用于服务器制造的工厂自动化,Siemens 正在跨工业用例对其进行评估。
MicroAGI 正在使用通过强化学习后训练的 GR00T 2,以 YAM 机械臂执行以太网线缆更换任务。其智能体机器人方法利用 Isaac Lab 3.0 和 Newton 自动创建和校准仿真环境,并在其中训练策略。该智能体机器人工作流将在 CoRL 上演示。
训练有能力的机器人需要多样化的数据。开放的 NVIDIA 工作流和模型为研究人员提供了更好的数据收集和标注工具:
-
对于构建机器人训练数据集的研究人员,NVIDIA 新的开放 Video to Data 工作流可将人类视频转换为仿真机器人演示,并设有挑战赛邀请研究人员推进这一工作。
-
NVIDIA EgoHand 开放模型——在 CoRL 上演示,自发布两周内在 Hugging Face 上下载超过 40,000 次——可重建 3D 手部运动,使用来自 Noitom Robotics 的数据训练。
https://blogs.nvidia.com/wp-content/uploads/2026/11/egohand-demo.mp4
训练与扩展发生在哪里——仿真中
预训练模型为机器人提供了一套核心技能。仿真让研究人员能够在部署到物理机器人之前,大规模地训练、优化和评估技能。
NVIDIA Isaac Lab 是一个开源机器人学习框架,为这项工作提供了基础。其最新版本 Isaac Lab 3.0 允许研究人员使用智能体快速搭建带有仿真就绪资源的训练环境,在 NVIDIA PhysX 和 Newton 物理求解器之间切换,为基于感知的训练选择渲染器,并将新的强化学习后训练库应用于 GR00T 等基础模型。
精确的物理模拟对于将学到的技能从仿真迁移到真实机器人至关重要。与开源物理引擎 Newton 的更紧密集成,使 Isaac Lab 现在能够对线缆和布料等可变形物体建模,以及具有许多相互作用关节的机械手等复杂关节系统。
https://blogs.nvidia.com/wp-content/uploads/2026/11/newton-strawberry.mp4
与 Newton 的集成模拟了草莓在机器人抓握下的变形。
Isaac Lab 和 Newton 结合了精确物理与规模,使研究人员能够并行训练数千个仿真机器人。在基于视觉的灵巧操作基准测试中,采用 Newton 的 Isaac Lab 3.0 实现了高达 Isaac Lab 2.3 配合 PhysX 的 2.5 倍训练吞吐量。
https://blogs.nvidia.com/wp-content/uploads/2026/11/newton-physx-web.mp4
Isaac Lab 支持使用 Newton 和 NVIDIA PhysX 进行机器人仿真。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。