从学习人类到学习机器人同伴,清华大学联合无问芯穹、智元提出具身智能规模化落地新路径
在系统层面,团队基于大规模强化学习训练开源框架 RLinf 构建了“容错异步训练系统(FATS)”,支持近百台机器人持续稳定地协同学习训练。它将真实机器人与计算资源统一调度:机器人完成任务后,就能马上把自己的操作经验上传,不用干等着别的机器人,训练系统随时可以继续优化模型。同时,真实环境里常见的网络波动、设备掉线、硬件故障,系统也都提前做了准备 —— 就算部分设备“掉线”,整个集群照样能稳定运转。在 96 台机器人规模的系统测试中,集…
以下正文同步自 量子位,版权归原站所有,已转换为易读排版。
在系统层面,团队基于大规模强化学习训练开源框架 RLinf 构建了“容错异步训练系统(FATS)”,支持近百台机器人持续稳定地协同学习训练。它将真实机器人与计算资源统一调度:机器人完成任务后,就能马上把自己的操作经验上传,不用干等着别的机器人,训练系统随时可以继续优化模型。同时,真实环境里常见的网络波动、设备掉线、硬件故障,系统也都提前做了准备 —— 就算部分设备“掉线”,整个集群照样能稳定运转。在 96 台机器人规模的系统测试中,集群累计采集了 9834 轮执行经验,期间 22 台机器人一共发生过 30 次故障,但故障造成的机器人时间损失,只占全部运行机时的 1.3%。这说明系统足够稳健可以扛得住百台规模的真实环境考验。
在算法层面,团队提出“失败引导的经验检索微调算法(FERT)”,帮助机器人从任务成败中找到改进方向。这里有个现实难题:一次机器人操作可能持续好几分钟、涉及几千个动作步骤,但最后得到的反馈往往只有一句“成功”或“失败”,信息量太小,根本看不出到底该改进哪个动作。FERT 的思路是把两类经验都利用起来:从成功的操作里学“应该怎么做”,从失败的操作里找“哪里做得不对”。机器人一旦遇到困难,算法就会去过去的成功经验里,翻找出相似场景下的有效做法,让机器人重点照着学,能力就这样一点一点改进。
具身智能的产业化发展,关键不只是让机器人“会做一件事”。此次清华大学、无问芯穹、智元联合推出的群体学习范式,提供的是一条从“单台机器人的能力提升”走向“整个群体的持续进化”的路径。
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。