Ai2 发布 ToyBlocks：用于机器人学习与评估的可控环境

回到文章

ToyBlocks：面向机器人学习与评估的可控世界

企业文章 已发布 2026年11月6日 点赞 -

Kyle Wiggers Ai2Comms 关注 allenai

ToyBlocks 的工作原理

基于 ToyBlocks 的研究 底层动作模型：VLA 空间泛化 高层推理：视觉语言模型 高层推理：智能体系统 以动作为条件的世界模型作为模拟器 高层与底层模型的真实世界实验 开放工具以推动进一步研究

💻 代码 | 📊 数据 | 🤖 模型 | 📖 文档

机器人正在学习叠衣服、分拣零件和处理陌生物体。但这些演示往往相当狭窄，无法说明机器人学到了什么，也无法解释它为什么会失败。

为了研究复杂系统，科学家通常从一个小的受控环境入手，比如培养皿或生态缸，在其中改变条件并观察结果。机器人学也需要能让这类研究得以进行的环境——研究者应当能够更改训练数据或模型设计、重复测试，并追溯失败的原因。

今天我们推出一个用于构建这类环境的框架，我们称之为 FoundationWorlds。每个 FoundationWorld 都将一个针对特定环境研究机器人学的受控模拟世界，与自动生成任务和训练演示的工具、以及衡量机器人随时间变化行为的指标配对在一起。它们共同提供了一个场景，用来研究诸如模型如何随着训练数据的增加而改进、以及如何最好地将高层推理与精确的物理控制结合起来等问题。

我们的第一个 foundation world 是 ToyBlocks：一个围绕桌面上的机械臂和积木构建的开放模拟框架。这一设定刻意保持简单，但机器人仍然需要推理积木之间如何相互作用，以及如何在推动、翻转和堆叠积木的同时将它们摆放到位。

ToyBlocks 能自动生成演示，即机器人在模拟中完成任务的记录，无需耗时的人工遥操作，也就是由人远程控制机器人。研究者可以轻松改变这些训练经验。例如，团队可以生成更多推动或翻转的演示，然后在未纳入训练的任务上评估性能。

我们以 ToyBlocks 作为首个 FoundationWorld，目标是让这一方法扩展到越来越复杂的环境。

ToyBlocks 的工作原理

基于我们此前在开放机器人学习方面的工作，包括 MolmoAct 2、MolmoBot 和 MolmoSpaces，ToyBlocks 为研究者提供了一种在刻意受限的领域中研究机器人学问题的方法。

作为一个 FoundationWorld，ToyBlocks 围绕四项要求设计：（1）逼真的物理与外观，（2）大规模自动生成任务和演示，（3）将推理与灵巧操作相结合的挑战，以及（4）广泛覆盖某个领域内可能出现的任务。

开放式领域需要对大量物体和交互进行建模，因此要同时满足上述所有要求并不现实。而 ToyBlocks 的狭窄范围则使全部要求都得以满足。

在 ToyBlocks 更小的设定中，研究者可以着手研究机器人如何学会执行任何合理的任务，同时确信模拟的机械臂和积木的行为与真实物体非常相似。

ToyBlocks 设置中，一只实体机器人夹爪位于木块上方。

ToyBlocks 不仅仅是抓取和堆叠积木：积木各面上印有图案和字母，可以用于搜索、排序和整理任务。机器人可能需要转动积木以看到被遮挡的一面，然后才能决定它应该放在哪里。域随机化——在不同场景中改变积木尺寸、桌面高度和其他物理属性——用于测试模型在几何结构变化时的泛化能力。

ToyBlocks 会自动生成技能（短任务的行为）和任务演示，这些可用于训练模型，或通过额外训练（微调）来适配此前训练过的模型。高层推理模型决定要做什么；底层动作模型控制机器人的运动。该框架还可用于轻松设计实验并验证假设。

ToyBlocks 使用强化学习（RL）和运动规划（计算机器人应如何移动）来为短视界任务生成技能，这些任务涉及简短的动作序列。技能训练在 Isaac Lab 中进行，这是 Nvidia 开源的在模拟中进行机器人学习的框架。通过试错，这些策略——即选择机器人动作的模型——学会了非抓取式技能，例如在不抓起积木的情况下将它在桌面上推动或翻转到另一面。技能生成可以利用特权信息——即模拟器可以直接提供、但真实机器人无法获得的值，例如积木的精确位置和朝向——而不是从相机图像中估计这些信息。这使得自动生成在真实世界中需要遥操作的技能成为可能。

为了生成演示数据，任务与运动规划器（TAMP）会自动选择并排序完成任务所需的技能，并规划机器人在这些技能之间的移动。在模拟中运行每个规划，会产生一个记录演示的数据集，以及描述机器人执行了哪项任务或技能的对齐标签。ToyBlocks 通过在单个图形处理器（GPU）上并行生成并执行数百个这样的规划来扩展数据生成规模，最高可达实时性能的 24 倍。

从传感器观测出发行动会带来一个感知问题：模型必须估计积木的位姿——即其位置和朝向——而模拟器可以直接提供这些信息。为了反映真实世界的条件，ToyBlocks 训练将原始传感器观测映射为动作的模型。

（原文较长，此处译出前 6000 字，完整内容请点「打开原文」。）