
Dreamscale Labs用云推理测试四款机器人模型控制挖掘机
来源标题:Can robotics models control a 4200lb excavator?
Dreamscale Labs在Actor Labs的一台1930公斤电动迷你挖掘机上测试了四款前沿机器人模型,任务是将纸板垃圾扔进垃圾箱。参与测试的模型包括Physical Intelligence的π0.5、NVIDIA的GR00T N1.7、Black Forest Labs的Flux 3 Action和Runway的Praxis-1,团队采集数据、微调模型并通过云端推理部署评估各自表现。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
在Dreamscale Labs,我们为机器人构建云端推理。这意味着你可以在云端以实时延迟微调并运行各种前沿机器人模型(而且不需要昂贵的本地GPU)。
我们一直在不同的具身上测试各种模型,也一直在寻找下一个挑战,来检验最新的VLA/WAM模型。
就在这时,我们遇到了Actor Labs的Lane,他的公司正在将自主能力部署到重型机械上,例如挖掘机和轮式装载机。(下方是他们的π模型自主将泥土倒入卡车。)
我们认为,在他们仓库里闲置的一台挖掘机上测试不同的最新模型,会是一次有趣且有智力意义的尝试。
我们在单一任务上比较了4个模型(Physical Intelligence的π0.5、NVIDIA的GR00T N1.7、Black Forest Labs的Flux 3 Action和Runway的Praxis-1):把一块纸板垃圾扔进垃圾箱。
我们采集数据、微调模型,并通过Dreamscale的云端推理进行部署,看看每个模型在控制挖掘机方面表现如何。
登场的是Takeuchi TB20e:一台1930公斤(= 4254磅)的电动微型挖掘机,用于施工现场的挖掘、起重和倾倒。Actor已经将一台Raspberry Pi 5接入ECU的CAN总线,以读写挖掘机的关节命令。
归根结底,挖掘机就是一个机器人。它有输入和输出,也有控制它完成有意义工作的方式。
需要注意的是,这里没有本体感知状态。挖掘机的关节没有编码器(公平地说,它们也不需要)。因此,我们将上一个tick的操纵杆命令作为当前状态。
首先,我们采集了50个episode的数据。
这是我们的CTO Antoine(他这辈子从未开过挖掘机)在采集一个episode。这花了70秒,但在数据采集后期,他已经进步到40秒。
完成后,我们将数据集以LeRobot v3格式上传到Hugging Face。
注意:实际相机以非常高的分辨率(1920x1080)录制,但模型无论如何也不需要看到精细细节,因此我们下采样到224x224用于训练。也因为我们的上传速度是瓶颈。
数据集进入HF后,我们将其导入Dreamscale,然后使用Dreamscale Training启动无服务器微调任务。它根据提供商的建议和我们以往的经验,为每个模型预配置了推荐的配方。
训练完成后,我们将其部署到Dreamscale的 serving engine 上,该引擎自动应用测试时优化来加速推理。
在等待训练完成期间,天已经黑了,所以我们不得不拿出泛光灯。这将是对场景泛化能力的真正考验(数据集中没有任何夜间照明),我们很好奇模型的表现会如何。
推理完全通过Dreamscale平台在云端进行。毕竟,典型的挖掘机不会自带NVIDIA GPU(虽然这台接了一个Thor,但我们没有使用)。
它会足够快吗?答案是肯定的:对于π0.5,在15 Hz(tick大小 = 66 ms)下,我们通过卫星互联网达到中位obs-to-action延迟<133 ms,几乎所有chunk的推理都保持在3个控制tick以内。
它成功捡起纸板并放入垃圾箱的成功率略高于一半。我们甚至在一个初步的30个episode数据集上训练过它,它仍然有略高于三分之一的成功率。请记住,这个模型从未见过这种黑暗光照条件,但它仍然成功了!
我们发现GR00T由于挖掘机底座的横向摆动不精确而错过了第一次抓取。它仍然尝试闭合夹爪(尽管是在半空中),但没有自我纠正以摆回正确位置。这可能是因为数据集中不包含任何向左运动(当没有抓取纸板时)。
它正确摆动了,但从未设法将手臂下探到足够低来捡起垃圾。为什么会这样?我们检查了模型解码的未来视频latent,发现F3A确实预测手臂向下移动,但运动差异太小,以至于动作输出只有全油门的10–20%。
挖掘机对低于某个功率阈值的控制没有响应,因此模型尽管想要将手臂稍微降低,却无法做到。有趣的是,在数据采集期间,手臂主要以100%油门爆发式操作,而模型学会了在更长的时间范围内平滑动作。
与Flux 3 Action类似,它摆动到正确位置,但下探得不够低,无法抓住纸板。解码这里的未来latent,我们注意到类似的模式:轻微的下探运动没有达到 actuation 的阈值。一个有趣的观察是,手臂在视频预测时间范围内似乎进一步解体(比F3A更严重)。
我们列出跨模型观察到的一些常见失败。
第一个也是最普遍的是未能抓住纸板。为模型辩护,即使对于坐在操作员座位上的人来说,也很难估计正确的深度以及手臂需要伸出多远。而且在摆动时,手臂可能会遮挡纸板的视线。
另一个有趣的行为是在垃圾箱上方悬停时未能释放。我们发现模型想要继续向上伸展手臂(即使它已经完全伸展)。我们怀疑这是因为我们的许多数据集episode在夹爪释放之前包含最大伸展的手臂姿态。
这是一个半天的项目,因此由于时间限制存在许多局限性:
一个重要的免责声明是,这里的结果并非跨模型的完整proper比较评估,不应被视为如此。将其视为一次在不熟悉的具身上摆弄机器人模型的有趣实验。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。