刷视频也能教会机器人干活！1200亿tokens人类动作预训练，误差按幂律下降

视频中的镜头位置多样，人体会被遮挡，动作也没有关节控制标签，更没有机器人的本体感知、力反馈和接触状态。视频里一个人伸出手打开橱柜的几十帧，距离一台人形机器人真正需要输出的控制信号还很远。

另外一些团队没有像Figure那样采集更多专门为机器人而生的数据，而是尝试通过模型学习和表示转换，从已有视频中提取可迁移信息。

CoMo从互联网视频中学习连续的潜在运动表示，并为此前没见过的视频生成伪动作（pseudo-action），再与有限的机器人数据共同训练策略模型。“互联网视频能否转成与动作相关的监督信号”，并不是一个全新的命题。

HuRo做得更直接。它把来源和视角各异的人类视频 “机器人化”，转化成更接近机器人观察和动作分布的数据；随着这类预训练数据扩大，真实操作任务的完成度和分布外（OOD）表现继续改善。

Rhoda则绕开了显式的人类动作。它用来源广泛的互联网视频训练因果视频模型，让模型先预测世界接下来如何变化，再通过逆动力学模型把这种预测转换成机器人动作。近期的真实工业任务实验显示，更大的预训练模型和更多训练算力都能改善机器人策略，而且当机器人数据较少时，更强预训练带来的收益更明显。

这些方法虽然机制不同，却都在检验另一种可能：当原始数据离机器人分布较远时，能否通过表示学习（representation learning）、动作恢复或世界建模来弥补其中的差距。

互联网视频的确没有现成的机器人动作轨迹。但其中的人类行为、物体交互和物理世界规律，究竟有多少能够被重新编码成物理AI真正能用的经验，仍然没有定论。

亮源新创（Light Origins）则大胆地把问题又往前推了一步：数据源直接来自普遍存在的互联网人类行为视频。

亮源新创选择的不是专门为机器人训练采集的数据，也不是主要依赖第一人称人类视频，而是尝试从互联网中的第三视角人类行为视频中提取可迁移经验。

互联网上已经积累了海量人类行为视频。这类数据更容易实现规模化和多样性，代价则是更大的人机域差异（domain gap）：镜头并不跟随视频中的人类身体，动作可能被遮挡或剪辑，人类和机器人身体结构不同，视频里没有可以直接执行的动作标签。

根据9月21日亮源新创官网正式发布的技术博客来看，Light-O1先从视频中恢复结构化人类动作，再编码成统一的人形动作表示，与视觉、语言信息一起进行自回归预训练，最终得到一个人类动作先验（Human Action Prior）。

注：从机器人遥操作、UMI等机器人数据，到第一视角人类视频，再到互联网规模的第三视角人类行为视频，数据来源覆盖范围逐步扩大，同时也伴随着视角、本体和动作表示差异的增加。本图用于说明亮源新创选择的人类动作预训练数据来源位置，不代表不同数据来源之间的性能比较。

此次技术博客披露的人类动作预训练规模，从37.5亿扩展到1200亿词元（token），最大规模约对应10万小时人类动作。

Light-O1分别在第一视角人类数据、公开机器人数据和亮源新创自研人形机器人数据上进行目标域适配。随着人类动作预训练规模扩大，适配后的动作预测误差、全身姿态误差和腕部位置误差均持续下降，并呈幂律趋势。亮源新创将这一现象称为“迁移缩放定律”（Transfer Scaling Law）。

注：亮源新创将人类动作预训练规模从37.5亿tokens扩展至1200亿tokens，并在第一视角人类数据、Unitree G1机器人以及亮源自研人形机器人数据等目标域上进行评估。实验显示，随着预训练规模扩大，动作预测误差和身体姿态预测误差在不同目标域上持续下降，呈现幂律缩放趋势。该结果基于目标域适配后的预测指标，用于衡量预训练规模与迁移效果之间的关系，并不等同于真实机器人闭环任务成功率。

人类动作先验并不是亮源新创首创；从公开的互联网视频中提取与动作相关的信号，也已经有CoMo、HuRo等近邻工作。

Light-O1这次更值得关注的，并不是“用了互联网视频”本身，而是把几件此前通常分开研究的问题放进了同一组规模实验：互联网规模的人类动作视频、结构化动作恢复、持续扩大的预训练规模，以及这些规模收益在不同机器人和人形机器人目标域适配后仍然保留下来。

至此，亮源新创首次验证了互联网规模的人类动作预训练对多本体人形机器人的迁移缩放定律。

注：视频展示Light-O1当前模型在机器人平台上的任务执行能力，用于说明预训练和后续适配后的模型具备真实可执行行为。本文讨论的“迁移缩放定律”仍以留出数据上的开环评测为依据。来源：亮源新创

更值得追踪的是：如果模型真的能从距离机器人更远的数据里持续获得可迁移的动作先验，这条“Scaling”（规模效应）之路最终能走到闭环真机的哪一步？

当把Figure、Dyna和亮源新创放在一起，很容易把不同层级的“Scaling”混为一谈。

注：不同团队正在探索Human Experience如何转化为机器人能力。目前公开研究已经分别展示了从人类经验规模化、跨本体迁移、真实机器人闭环表现等不同层面的证据。由于不同研究采用的数据、模型和评测协议不同，本图用于展示公开证据所在层级，不代表企业能力排名或横向比较。制图：原文作者