
SuperMimic用单个可微世界模型训练人形全身控制,1块GPU3小时超越SONIC
来源标题:SuperMimic
SuperMimic仅用1块GPU训练3小时,归一化回报就超过了SONIC——后者在128块GPU上训练了7天。它在2块GPU上训练9.8小时后,在真实Unitree G1上执行动作无一失败,而SONIC有179个动作失败。该方法让世界模型与策略联合训练,梯度不经过模拟器。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
用单一可微世界模型训练的人形全身控制。 1 块 GPU · 3 小时超越 SONIC 的回报。SONIC 用 128 块 GPU 训练了 7 天。 超越 128-GPU 基线。 单 GPU 3 小时。 SONIC 有 179 个动作失败。 SuperMimic 在 2 块 GPU 上训练 9.8 小时后零失败。 通过世界模型训练。 在真实 Unitree G1 上执行。 算力 SONIC 是最先进的运动跟踪器,在 128 块 GPU 上训练 7 天。SuperMimic 超越了它的归一化回报。 归一化回报对 GPU-hours(单 GPU 墙钟时间)的折线图,对数刻度。SuperMimic 在 1 块和 2 块 H100 GPU 上超越了已发布 SONIC checkpoint 的回报 0.90(虚线)。标记显示了训练时间:单 GPU 3 小时,双 GPU 9.8 小时。左右方向键可逐步查看绘制的 checkpoint。 在演示中选择动作和策略。 启动演示 停止 网页演示 工作原理 世界模型和策略一起训练。梯度从不经过模拟器。 采集标准接触模拟器→ 回放缓冲区 拟合一个世界模型,所有动作每次迭代更新,可学习、可微 想象在模型中做短 rollout 策略 更新后的策略再次行动 BPTT · 解析策略梯度 通过世界模型 采集标准接触模拟器→ 回放缓冲区 拟合一个世界模型,所有动作每次迭代更新 想象在模型中做短 rollout 策略 BPTT · 解析策略梯度 通过世界模型 仔细看看。 策略关闭 策略关闭。机器人倒下,世界模型预测了这次倒下。 策略开启 策略基于世界模型预测的状态行动。预测与模拟器保持接近。 湿滑地面 机器人刹车时,地面变得湿滑。脚打滑,而被告知摩擦力的世界模型预测到了打滑。 策略关闭策略关闭摩擦力 0.3 真实 Unitree G1 一个通用运动跟踪器应对所有动作。 SONIC 发布的 checkpoint 在 179 个动作上失败,其中包括每一个空翻和每一个侧滚。SuperMimic 在单 GPU 3 小时后失败 25 个,在双 GPU 9.8 小时后零失败。3 SONIC 在全部 44 个空翻上失败。SuperMimic 零失败。 各动作组的失败动作数 组(动作数)SONIC1 GPU × 3 h2 GPU × 9.8 h 侧滚(22)全部 222无 空翻:360°、180°、90°(44)全部 441无 交叉腿(10)9无无 躺下、休息和站起(99)288无 立定跳远(24)15无无 舞蹈动作(8)全部 8无无 所有其他动作(129,307)5314无 总计(129,514)17925无 基准动作对两种方法都是训练动作,因此这些计数衡量的是覆盖率,而非泛化能力。 世界模型预测误差,数据从 1 到 264 小时。达到目标回报所需的 GPU-hours 增长缓慢。 在实际使用的批量大小下比 MuJoCo Warp 更快。4 在世界模型 rollout 上达到 PPO 最佳训练回报所需的想象步数更少(PPO-WM)。 并排对比。 SONIC 发布的 checkpoint 与 SONIC 的对比公平吗? 两次运行在数据和硬件上不同:SONIC 在 128 块 NVIDIA L40 GPU 上训练,SuperMimic 在 1 块 NVIDIA H100 上训练。这两个差异都不能解释差距。SuperMimic 在 264.56 小时的 BONES-SEED 上训练,这是 SONIC 611 小时数据的公开子集:数据量少 2.3×。一块 H100 的 fp32 峰值为 L40 的 0.74×,tensor-core 峰值为 5.5×,而两次运行各自用到了多少峰值尚不清楚。 数据上 2.3× 和峰值 GPU 吞吐上最多 5.5× 的差距,无法解释 GPU-hours 上 1000× 的差距。 不。SuperMimic 从不对模拟器求导。它用一个世界模型拟合标准刚体模拟器 MuJoCo Warp 记录的转移,并通过该学习模型取解析策略梯度。具有非光滑接触的模拟器可以照常工作。 不。世界模型每次迭代都与策略一起更新。它只在每次策略更新内部保持固定。 完整训练循环:采集模拟器转移、拟合世界模型并更新策略。Checkpoint 评估在训练后运行,不计入其中。 3 小时是保守的说法。从那时起,每个 checkpoint 在回报和失败动作数上都至少领先 SONIC 半个 SONIC 与 SuperMimic 最佳结果之间的差距。 129,514 个动作中的每一个都从其第一帧播放一次,每个策略使用相同的模拟。如果 rollout 触发 SuperMimic 的训练终止条件,则该动作失败。 想象 rollout 长度为 32 步。critic 对超出该视野的回报进行自举。有了 critic,16 步视野可匹配无 critic 的 32 步视野;没有它,训练在 16 步或更少时失败。 是。本页每个真实机器人视频中,都有一个策略在物理 Unitree G1 上运行,没有针对单个动作的调参。 Qiayuan LiaoYiyang ShaoJunfeng LongKevin ZakkaRoberto HorowitzPieter Abbeel†Koushil Sreenath† UC Berkeley *同等贡献 · †同等指导
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。