开源机器人操控框架ORA发布:语言模型零样本操控机器人,RoboDojo成功率39.9%
来源标题:ORA: Open Robot-Use Agents
开源框架ORA让语言模型借助摄像头和工具直接操控机器人,无需机器人训练数据。其v0.1版本搭配开源权重模型DeepSeek-V4.1-Flash,在RoboDojo零样本任务中成功率达39.9%,较去年10月预览版的5.2%大幅提升。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
ORA 是一个开放式的执行框架:由语言模型通过摄像头和工具操作机器人,无需机器人训练[1]。v0.1 版本搭配开源权重的 DeepSeek-V4.1-Flash[2],在 RoboDojo[3] 零样本测试中解决了 39.9% 的任务,相比十月预览版的 5.2% 有显著提升[4, 5]。
概览 ORA 如何工作、v0.1 解决了什么,以及六个可查看的已解决回合。
ORA 是一个机器人使用智能体[1]:它将计算机使用智能体[7, 8, 9]的循环引入机器人领域,与近期一系列系统[10, 11, 12, 13, 14, 15, 16, 17, 18]的做法一致。模型请求一个动作;执行框架根据其手册、工具和上下文,在机器人上执行该动作并返回结果;模型再次做出决策。在这些智能体出现之前,语言模型已经能够零样本驱动机器人[19, 20];ORA 的循环构建在 Pi[21] 之上。
观察→测量→行动 上下文:近期回合完整保留,较早回合以决策和教训的形式保留 信任边界:机器人在信任边界之后,模型永远看不到成功检查 工具调用。每回合模型发送一个工具调用;执行框架运行它,返回一个结果,然后模型再次决策。 代码模式。每回合模型编写一个程序,从持久工作区调用相同的工具,最多可依次提交 12 个机器人动作,然后返回一个结果。
我们在 DeepSeek-V4.1-Flash 上运行基线和 ORA v0.1。在基准测试的步数限制之后取得的成功也计入。
*RPent 那里运行的是在 LIBERO 上训练的策略和一个探索记忆。十月的 LIBERO-Pro 在其他随机种子上运行;十月未运行 RoboLab。
每回合一次调用对比每回合一个程序 DeepSeek-V4.1-Flash,每种设置下 59 个 RoboDojo 案例。 两组运行之间执行框架的其他部分也有变化。
RoboDojo,39 个任务,已解决案例占比 DeepSeek-V4.1-Flash 48.7% Qwen3.8-Flash-Next 35.9% Inkling2-Small 21.8% MuseSpark Open 16.7% Qwen3.8-27B 15.4% Nemotron3.5-Super-VL 5.1% DeepSeek 每个任务四种布局,其他模型两种。
Qwen3.8-27B 在 RoboLab-120 上,已解决回合百分比,按 PEAR 分数计 PEAR 论文 / PEAR 论文,训练版 / 我们的运行 / 我们的运行,PEAR 训练版
未经训练的模型,在执行框架内,领先于没有执行框架的训练模型;执行框架内的训练模型领先于两者。
用木板搭塔 24 次决策 · 85 个动作 · 73 秒动作时间 任务:用木块和木板搭建一座塔。 鸡蛋入架 32 次决策 · 102 个动作 · 80 秒动作时间 任务:将篮子中的四个鸡蛋放入蛋架,然后盖上盖子。 折叠布料 22 次决策 · 97 个动作 · 74 秒动作时间 螺母套螺栓 8 次决策 · 39 个动作 · 28 秒动作时间 任务:将每颗螺丝插入并拧紧到同色螺母中。 木琴,逐键敲击 6 次决策 · 33 个动作 · 27 秒动作时间 任务:拿起木槌,从左到右敲击所有木琴键。 井字棋对局 15 次决策 · 99 个动作 · 81 秒动作时间 任务:作为先手玩井字棋,与对手一起填满棋盘。
同一个执行框架,作为持久工作区中的 Python 库。
代码模式不增加任何机器人能力:摄像头、运动栈以及一次只允许一个机器人命令的监督机制完全相同。变化的是接口。不再是每回合一次工具调用,模型在持久工作区中编写 Python,一次决策最多可运行 12 个机器人动作。程序在沙箱[27]中运行,无网络访问,仅通过相同的受监督工具与机器人交互。程序作为智能体动作已有先例:用于机器人控制的语言模型程序[28, 29]、替代每回合一次工具调用的可执行代码[30, 31],以及用于工具使用的代码模式[32, 33]。
在 build_tower 任务上,工具调用运行在 94 次模型调用后放弃,木板仍在桌上;代码模式运行则成功搭起了塔。其中一个程序找到一块积木,测量它,抓取、抬起、放置,并在交回控制权之前检查高度。在 59 个配对的 RoboDojo 案例中,每回合平均执行 3.62 个机器人动作而非 1.10 个,已解决案例从 6 个增加到 20 个。
同一个任务,两次真实运行 任务:用木块和木板搭建一座塔。 回放 模型调用 94/94 工具调用 预览版全部内容 94 次调用 50 个动作 未解决 头部摄像头 · 暂停已剪辑 未解决 菜单:每次调用一个工具 代码模式 ORA v0.1 新增 86 次调用 108 个动作 38 个文件 已解决 头部摄像头 · 暂停已剪辑 已解决 库:相同的工具,以函数形式呈现 自有工具和脚本 后续导入 38 个 一次性
同一任务分别用工具调用和程序完成。一个任务(搭塔,DeepSeek-V4.1-Flash),每个 tick 一次模型调用,来自运行记录。工具调用:94 次调用,50 个动作,未解决。代码模式:86 次调用,108 个动作,写入 38 个文件,在基准测试步数限制后解决(附录)。
即时编写的工具 给定工作区后,模型会用自己编写的工具填充它[34, 35]。Qwen[36] 和 DeepSeek 构建感知与几何辅助函数,每个回合中位数分别为 122 和 37 个函数,并在后续回合中导入它们;Qwen3.8-27B[37] 编写 46 个,Inkling[38] 12 个,Muse[39] 7 个,Nemotron[40] 4 个。更多代码不等于更多成功:DeepSeek 失败的回合中函数数量多于成功的回合。
语言模型现在即时创建自己的工具 模型在 727 个 RoboDojo 回合中编写的 34,327 个函数,代码模式 每个点代表一个函数,共采样 2,496 个,按源代码相似度排列。 观察→测量→姿态→规划→行动→检查→粘合 暂停 拖动旋转 · 点击一个点 拖动旋转 · 轻触一个点 试一个 kasa() quat_top() cam_arrays() move() 按模型 DeepSeek Qwen Muse Nemotron 每个方块代表一个模型的中位数回合中的一个函数,所有模型使用相同的案例。 观察→测量→姿态→规划→行动→检查→粘合 DeepSeek 37 个函数 62% 的辅助函数在后续回合中被再次使用
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。