返回资讯中心
外部精选
行业深度
#科技与社会#Business#Business / Artificial Intelligence

OpenAI模型让虚拟机器狗学会追猫

来源标题:I Saw the Future of Robotics in a Virtual Duck That Chases My Cat

记者借助OpenAI的GPT-6 Sol模型,在数小时内训练虚拟版Microduck机器人学会行走并识别附近的孟加拉猫。该机器人来自Pollen Robotics与Hugging Face,目前仅为仿真版本,作者计划待实体机发货后让它自动给宠物猫投喂零食。整个训练过程过去可能需要数周,如今靠新模型理解3D世界并生成代码即可快速完成。

WiredWill Knight2026/11/11 · 6 天前13 分钟阅读

以下正文由 AI 翻译自 Wired(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

用 OpenAI 的 GPT-6 Sol,我教会了一只虚拟版 Microduck——Pollen Robotics 和 Hugging Face 出品的一款可爱机器人——在一个房间里走动,并识别附近有没有孟加拉猫。(上方视频片段显示这只机器人摇摇摆摆地走向目标猫咪;右上角是它视角的画面。) 我还在耐心等待一只实体 Microduck——拜托快点发货吧,各位——但模拟环境中的行为相对简单,所以应该能迁移到真机上。我打算让这只机器人自动给我的孟加拉猫 Leona 投喂零食,也许是低头从 3D 打印的头部储物仓里释放一颗出来。 我只用了几个小时就完成了这只虚拟机器人的编程和训练,说实话,这简直不可思议。以前,这类事情可能要花我好几周才能搞明白。之所以能做到,是因为 OpenAI 最新的模型非常擅长理解和操作物理世界的 3D 表示,然后将其转化为有用的代码、智能体动作和机器人训练。 真正的机器人专家正在用最新模型做一些了不起的事情。去年 9 月 OpenAI 发布 Astra 时,加州大学伯克利分校教授 Ken Goldberg 和他的学生们看到了展示其 3D 图像渲染能力的演示。他们想知道它能否帮助完成训练不同种类机器人所需的模拟。这些模拟需要极其精细、极其准确,才能确保复杂行为——比如会跳舞的人形机器人,或能抓握的机械手——忠实地迁移到现实世界。 Goldberg 实验室的一名成员让 Astra 访问了 Nvidia 的一款名为 Newton 的工具,给它看了一段真实机器人执行动作的视频片段,然后问它能否创建该场景的模拟。 “让我们所有人都震惊的是,不到一个小时,它就生成了一个完整的 3D 模拟,所有参数都设置好了——相机位置、光照、背景、所有材质,”Goldberg 告诉我。 Goldberg 说,Astra 还能通过运行实验并检查结果,自动完成模拟环境中训练机器人所涉及的大量枯燥工作。 这正是我在训练虚拟 Microduck 时的发现。除了 GPT-6 Sol,我还使用了 Nous Research 的一个名为 Hermes 的智能体框架,以及 Nvidia DGX Spark——一台搭载强大 AI 芯片的个人电脑。 我之前写过如何使用智能体和编程模型来配置、编程和调试实体机器人。通常,这类工作需要相当的专业知识;现代编程模型让它变得轻而易举。但 OpenAI 的最新模型远不止写代码。 它使用 Nvidia 的一款名为 Isaac Sim 的软件,向控制虚拟机器人的模型发送指令,观看机器人执行动作的视频以评估效果,并对其训练方案提出调整建议。 这个过程让我训练 Microduck 学会了走动而不摔倒。我最初尝试让 GPT-6 Sol 教这只机器人走太空步——我喂给它一段 Michael Jackson 在舞台上滑步的 GIF,它试着模仿——但经过几个小时的努力,结果只是让机器人非常欢快地倒着小跑。(机器人还没把我们完全比下去。) 与 Goldberg 合作过的 Nvidia 研究员 Jim Fan 说,AI 现在控制机器人的方式,与软件智能体的运作方式如出一辙。LLM 可以调用经过训练来控制物理动作的模型——视觉语言动作(VLA)模型——就像它们在电脑上访问不同的软件一样。 本周,Fan、Goldberg 等人开源了一个名为 Aspire 的机器人智能体框架,它能让机器人发现并使用新技能。一个例子是:GPT-6 Astra 弄明白了如何用一对机械臂解开魔方。 “它把它拿起来,试着拧一下,但角度不对,”Fan 说。“然后它进行了非常非常长时间的推理,但最终能够解开,因为它随着时间的推移学会了这些技能。” 本周在得克萨斯州奥斯汀举行的机器人学习会议(CoRL)上,Fan 做了主题演讲,谈到了 AI 模型能够自动完成让机器人执行复杂动作所需的大量工作这一惊人发现。Fan 展示了一个演示:Astra 被赋予一只机械臂的控制权,并被要求画一幅金门大桥的画。它用附近的颜料和画笔,如期完成了任务。 当然,让机器人可靠、高效地工作仍然极其困难,需要大量的工程专业知识。我这只机器鸭的视觉系统还不够好,无法部署到真实产品中。 尽管如此,用 AI 训练机器人的便捷和速度,可能很快就会对制造业和电子商务产生巨大影响,Goldberg 说,已有一些工业机器人和自动化公司对这种方法表现出兴趣。 就像几年前的 vibe coding 一样,随着爱好者和工程师意识到给机器人编程和训练有多么容易,我们很可能会看到“vibe robotics”领域的突破。而且,假设我能完善我的机器人助手,Leona 可能再也不必断零食了。 本文是 Will Knight 的 AI Lab newsletter 的一期。在此阅读往期 newsletter。

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →