Ai2 发布 ToyBlocks：用于机器人学习与评估的可控环境

返回文章列表 ToyBlocks：用于机器人学习与评估的可控世界 企业文章 已发布 2026年11月6日 点赞 - Kyle Wiggers Ai2Comms 关注 allenai ToyBlocks 的工作原理 基于 ToyBlocks 的研究 底层动作模型：VLA 空间泛化 高层推理：视觉语言模型 高层推理：智能体系统 以动作为条件的世界模型作为模拟器 结合高层与低层模型的真实世界实验 开放工具以供进一步研究 💻 代码 | 📊 数据 | 🤖 模型 | 📖 文档 机器人正在学习叠衣服、分拣零件和处理陌生物体。但这些演示往往相当狭窄，无法说明机器人学到了什么，也无法解释它为什么会失败。 为了研究复杂系统，科学家通常从一个小的受控环境入手，比如培养皿或生态缸，在其中改变条件并观察效果。机器人学需要能够支持这类研究的环境——研究者应当能够更改训练数据或模型设计、重复测试，并追溯失败的原因。 今天我们推出一个用于创建这类环境的框架；我们称之为 FoundationWorlds。每个 FoundationWorld 都将一个针对特定环境研究机器人学的受控模拟世界，与用于自动生成任务和训练演示的工具，以及衡量机器人随时间变化的行为的指标配对在一起。它们共同提供了一个场景，用于研究诸如模型如何随着训练数据的增加而改进，以及如何最好地将高层推理与精确的物理控制相结合等问题。 我们的第一个 foundation world 是 ToyBlocks：一个围绕桌面上的机械臂和积木构建的开放模拟框架。场景刻意保持简单，但机器人仍然需要推理积木之间如何相互作用，以及如何在推动、翻转和堆叠的过程中安排它们。 ToyBlocks 自动生成演示，即在模拟中记录机器人完成任务的过程，无需耗时的遥操作（由人远程控制机器人）。研究者可以轻松改变这些训练经验。例如，一个团队可以生成更多推动或翻转的演示，然后在未纳入训练的任务上评估性能。 以 ToyBlocks 作为我们的第一个 FoundationWorld 起步，我们的目标是将这一方法扩展到日益复杂的环境中。 ToyBlocks 的工作原理 基于我们此前在开放机器人学习方面的工作（包括 MolmoAct 2、MolmoBot 和 MolmoSpaces），ToyBlocks 为研究者提供了一种在刻意受限的领域中研究机器人学问题的方法。 作为一个 FoundationWorld，ToyBlocks 围绕四项要求设计：(1) 逼真的物理与外观，(2) 大规模自动生成任务和演示，(3) 将推理与灵巧性相结合的挑战，以及 (4) 广泛覆盖某一领域内可能出现的任务。 开放式领域需要对种类繁多的物体和交互进行建模，这使得满足上述所有要求变得不可行。而 ToyBlocks 的狭窄范围则使全部要求都得以满足。 在 ToyBlocks 较小的场景中，研究者可以着手研究机器人如何学会执行任何合理的任务，同时确信模拟的机械臂和积木的行为与其实体对应物非常相似。 ToyBlocks 装置中，一个实体机器人夹爪位于木制积木上方。 ToyBlocks 不仅仅是拾取和堆叠积木：积木表面上的图片和字母支持搜索、分类和排列任务。机器人可能需要转动积木以看到隐藏的一面，然后才能决定它该放在哪里。域随机化——在不同场景中改变积木尺寸、桌面高度和其他物理属性——测试模型在几何形状变化时的泛化能力。 ToyBlocks 自动生成技能（短任务的行为）和任务演示，可用于训练模型，或通过额外训练（微调）来适配先前训练过的模型。高层推理模型决定做什么；低层动作模型控制机器人的运动。该框架还可用于轻松设计实验并验证假设。 ToyBlocks 使用强化学习（RL）和运动规划（计算机器人应如何移动）来为短时程任务生成技能，这些任务涉及简短的动作序列。技能训练在 Isaac Lab 中进行，这是 Nvidia 用于模拟中机器人学习的开源框架。通过试错，这些策略——即选择机器人动作的模型——学习非抓取式技能，例如将积木推过桌面，或将其翻转到另一面而不将其拿起。技能生成可以利用特权信息——即模拟器能直接提供但真实机器人无法获得的值，例如积木的精确位置和朝向——而不是从相机图像中估计。这使得能够自动生成在真实世界中需要遥操作的技能。 为了生成演示数据，任务与运动规划器（TAMP）自动选择并排序解决任务所需的技能，并规划机器人在这些技能之间的移动。在模拟中运行每个计划会生成一个记录演示的数据集，以及描述机器人执行哪个任务或技能的标签。ToyBlocks 通过在单个图形处理器（GPU）上并行生成和执行数百个此类计划来扩展数据生成，最高可达 24 倍的实时性能。 基于传感器观测进行动作会带来一个感知问题：模型必须估计积木的位姿——即其位置和朝向——而模拟器本可以直接提供这些信息。为反映真实世界条件，ToyBlocks 训练将原始传感器观测映射到动作的模型。

（原文较长，此处译出前 6000 字，完整内容请点「打开原文」。）