返回资讯中心
外部精选
软件工程
#开发者实时流

openRocode 发布开源智能体框架,让多模态模型像操作电脑一样控制机器人

来源标题:Show HN:openRocode–let multimodal models drive robots the way they use computers

开源项目 openRocode 发布,这是一个把机器人控制转化为 3D 电脑操作的智能体框架。演示中 Claude Opus 5.5 仅通过程序操作,用 5 轮、18 秒将积木叠到杯子上。模型不接触世界坐标,深度、标定和坐标系均由框架内部处理,人类可随时介入。

Hacker News 最新muyin12152026/11/18 · 今天19 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

让多模态模型像使用计算机一样驱动机器人。

快速开始 功能特性 仪表盘 工作原理 路线图

一次真实、未经编排的运行。Claude Opus 5.5 仅被允许通过程序行动,它在 5 个回合、18 秒内将方块叠放到杯子上。

openRocode 是一个开放的 agent harness,把机器人控制变成 3D 计算机操作。模型查看摄像头画面,点击夹爪应该前往的位置,朝它看得见的方向微调,或者为需要循环和检查的部分编写一段简短的 Python 程序。harness 负责几何计算、守护每一个动作、允许人类随时介入,并记录一切。

模型从不查看或写入世界坐标。深度、标定和坐标系都留在 harness 内部。工具使用像素、厘米和“在前置摄像头中的左侧”这样的表述。

git clone https://github.com/wrencanfly/openRocode.git cd openRocode python -m venv .venv && source .venv/bin/activate pip install -e '.[sim,agent,openai,dev]' rocode demo # 一段脚本化的演示回合,无需 API key:用于检查你的安装 pytest # 28 个测试,约 5 秒,无需 API key

然后给模型一条机械臂,在仪表盘中观察它:

通过 Anthropic API 使用 Claude(ANTHROPIC_API_KEY,或 ant auth login)

rocode run mug_to_coaster --view

任何 OpenAI 兼容的 endpoint:OpenAI、Qwen、DeepSeek、vLLM、LiteLLM 代理

export OPENAI_API_KEY=... export OPENAI_BASE_URL=https://your-endpoint/v1 rocode run mug_to_coaster --view --provider openai --model claude-opus-5-5

rocode tasks 列出所有任务。rocode view 浏览每一个已记录的回合。rocode replay runs/<episode> 在终端中打印某个回合。

指点,而非计算

move_to(camera, x, y) 会把夹爪送到该像素下方任意物体的上方。每张图片都带有标注(o1、o2……),一次点击会绑定到模型当时查看的确切图片,因此之后遮挡视野的夹爪无法改变被点击的内容。结果以带标注的图片返回:指尖、它到桌面的垂线,以及最后一次点击都绘制在上面。

模型可以一次执行一步,也可以在需要循环、重试或检查读数时把一串动作交给 run_code。程序发起的每一次机器人调用,都与直接调用一样经过相同的校验、安全钩子和紧急停止。程序看不到图片,所以模型先观察,再针对它所看到的内容编写代码。

运行进行中,你可以在终端或仪表盘里告诉模型一些事情(“不是那个,左边那个”)、暂停它或停止它。消息会在模型做出下一个决策之前送达,并保留在记录中。

每一个动作都由机身进行力守护和工作空间检查。物理动作绝不会自动重试,提前停止的动作会取消该回合剩余的其它动作。紧急停止会立即中止运动,包括正在运行的程序内部。

通过 Anthropic API 使用 Claude,或任何 OpenAI 兼容的 endpoint。历史记录只追加,因此 prompt 缓存保持热态,Claude 的 thinking blocks 保持有效。用一个 flag 即可更换模型;其它一切不变。

每个回合都是一份事件日志加上模型看到过的每一张图片,并对照模拟器的 ground truth 评分——而模型永远看不到这个 ground truth。

一个约 700 行的 pi 风格核心:循环、事件、钩子和一条控制通道。工具、安全、记录、仪表盘和机器人本身都是插件。

rocode run mug_to_coaster --view # 打开实时运行界面,带控制按钮 rocode view # ./runs 中的每个回合,包括仍在进行的

回合:每次运行及其模型、结果、回合数、时长和 token。 调试:逐回合的时间线(模型说了什么、每次调用、每个程序及其机器人调用和输出)与两个摄像头并列,所选步骤的读数,以及一张遥测图表。 观看:两个摄像头铺满页面,配上遥测图表和一条包含模型看过的每一张图片的缩略条。正在进行的回合在此打开。 明暗主题、方向键逐步查看、空格键回放,以及可打开到指定步骤的链接(#/e/<episode>?mode=watch&step=5)。它是由 Python 标准库提供的纯 HTML 和 JavaScript:无需构建步骤,无需 Node。它只监听 127.0.0.1,控制请求需要一个只有它自己的页面才携带的 token。

以下是从 rocode run mug_to_coaster 配合 Claude Opus 5.5 的运行中略微删节的一段摘录。模型指点了一次,然后为棘手的那部分写了一段程序:微调,转 90° 让手指避开把手,下降,抓取,抬起。

── turn 1 ▶ move_to {"camera": "front

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →