返回资讯中心
外部精选
软件工程
#开发者实时流

TRACE 框架让机器人从少量示范学会灵巧操作,并部署 TI-0.1 策略

来源标题:TI-0.1: Deployment-time compute scaling for robot learning

研究团队提出 TRACE,一种 real2sim2real 框架,能利用少量人类示范数据重建仿真环境并训练灵巧操作策略。TRACE 用 GPT-6 Astra 等 LLM 编码智能体重建任务,结合示范中的图像、指令和机器人状态拟合仿真参数,再通过强化学习训练策略并蒸馏为可在 Sonny 上实时运行的 TI-0.1 视觉运动动作分块策略。硬件部署数据会反馈回重建环节形成闭环。

Hacker News 最新qrush2026/11/9 · 8 天前30 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

TI-0.1 在 Sonny 上运行。在 DF1 中抓取和放置乐高积木。自主、实时。

摘要 引言 相关工作 TRACE Golem 扩展规模 结论 致谢 引用 参考文献

目录

摘要 引言 相关工作 TRACE Golem 扩展规模 结论 致谢 引用 参考文献

摘要

我们提出 TRACE(Telemetry-grounded Reconstruction, Alignment, and Closed-loop Evaluation,即基于遥测的重建、对齐与闭环评估),这是一个 real2sim2real 的智能体化框架,能够仅凭少量 Tutor 演示来训练灵巧操作策略。与以往从图像或视频进行重建的 real2sim 方法不同,TRACE 使用前沿编程智能体(基于 GPT-6 Astra 等 LLM 构建)在仿真中重建任务。它利用演示中同步的图像、指令和测得的机器人状态,来拟合仿真器的外观与物理参数。随后,我们在重建的仿真器中用强化学习训练一个特权状态策略,任务进度被指定为混合马尔可夫决策过程(MDP),并将其蒸馏为 TI-0.1——一个在 Sonny 上运行的视觉运动动作分块策略。硬件 rollout 会反馈到重建中形成闭环,使机器人学习成为部署时计算扩展的问题。我们还介绍了 Golem,一个用于高性能、可扩展数据采集和机器人端策略推理的机器人软件栈。

图 1. 真实与仿真。来自 Sonny 胸部相机的 Tutor 演示及其在仿真中的重建。

引言

行为克隆等机器人学习方法已经产生了令人印象深刻的演示(Chi et al., 2023Diffusion Policy: Visuomotor Policy Learning via Action DiffusionChi, C., Xu, Z., Feng, S., Cousineau, E., Du, Y., Burchfiel, B., Tedrake, R., Song, S. (2023). arXiv preprint arXiv:2303.04137.; Zhao et al., 2023Learning Fine-Grained Bimanual Manipulation with Low-Cost HardwareZhao, T. Z., Kumar, V., Levine, S., Finn, C. (2023). arXiv preprint arXiv:2304.13705.)。然而,这些方法需要大量真实世界数据才能产生快速且稳健的行为,而采集包含纠正行为的多样化演示既慢又昂贵。此外,人类演示往往并非最优,受限于人类反应时间以及遥操作过程中缺乏力反馈和触觉反馈(Tutor Intelligence, 2026Data Factory 1 Technical ReportTutor Intelligence (2026).)。仿真提供了另一种解决方案:它为强化学习(RL)提供无限的练习机会,并可直接访问力和接触信息,可用于训练超越遥操作演示的稳健的接触感知策略。直到最近,构建一个足够忠实、能让策略迁移的仿真器,仍需要为每个任务投入大量人工,这使得 real-to-sim-to-real(real2sim2real)学习的规模化变得困难。

前沿大语言模型(LLM)改变了这一成本结构。GPT-6 Astra(OpenAI, 2026GPT-6 AstraOpenAI (2026).)等模型可以检查图像和遥测数据、编写场景与渲染代码,并迭代重建结果直至与录制内容匹配。少量 Tutor 演示即可为仿真器注入场景理解和任务意图。此后,RL 策略在许多并行的仿真环境中练习该任务,每个回合都会随机化任务配置、光照、背景和动力学。在乐高抓取任务上,我们最好的策略在 99.8% 的仿真回合中成功。这将机器人学习转变为部署时计算问题:对于部署机器人上的给定任务,性能随仿真时间步和 LLM token 数量的增加而扩展。

大多数现有的 real2sim 工作从图像或视频重建场景的外观(Torne et al., 2024Reconciling Reality through Simulation: A Real-to-Sim-to-Real Approach for Robust ManipulationTorne, M., Simeonov, A., Li, Z., Chan, A., Chen, T., Gupta, A., Agrawal, P. (2024). arXiv preprint arXiv:2403.03949.; Qureshi et al., 2024SplatSim: Zero-Shot Sim2Real Transfer of RGB Manipulation Policies Using Gaussian SplattingQureshi, M. N., Garg, S., Yandun, F., Held, D., Kantor, G., Silwal, A. (2024). arXiv preprint arXiv:2409.10161.)。对于操作任务而言,仅外观是不够的:仿真器还必须复现机器人如何响应其指令,以及物体在给定任务和场景下如何响应机器人。真实世界数据采集使我们能够将重建锚定在记录的遥测数据上,从而依据真实机器人行为来拟合视觉和物理保真度。

我们提出 TRACE,一个智能体化框架,前沿 LLM 智能体在其中于仿真中重建机器人任务并在那里训练策略。它补充了这一机器人学习新范式的同期工作(Wang et al., 2026bReconstruct, Practice, Go Real: Guided Self-Improvement for Embodied AgentsWang, Y.-J., Jiang, H., Deng, S., Xue, H., Ye, W., Duan, R., Haghtalab, N., Sastry, S. S., Abbeel, P., Qi, H. (2026b). arXiv preprint arXiv:2610.02204.; Moonlake AI, 2026A Simulation-enabled Scaling Paradigm for Robot LearningMoonlake AI (2026).),得益于前沿 LLM 能力近期的跨越式提升。我们的贡献包括:

Tutor 演示图像、指令、状态 1智能体 重建视觉与物理,由智能体完成 2智能体 训练策略特权状态 RL,由智能体完成 3 蒸馏为 TI-0.1 4 部署在 Sonny 上 真实录制 种子Tutor 演示图像、指令、状态 重建下一步:重建

图 2. TRACE 循环。特权状态策略在由 Tutor 演示重建的仿真器中训练,并蒸馏为 TI-0.1——一个视觉运动策略。TI-0.1 在硬件上的录制被用于进一步更新重建。智能体执行重建和训练策略步骤。

相关工作

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →