返回资讯中心
外部精选
软件工程
#开发者实时流

Opus 5.5直接修改π0.5权重,无需微调即提升任务表现

来源标题:Directly editing a VLA's weights improved its performance, with no fine-tuning

Opus 5.5通过直接修改π0.5 DROID策略的权重,在未训练、未微调的情况下修复了其积木分类失败问题。仅将四个注意力头的权重调高3倍,分类任务成功率即从30次中9次提升至27次,且在未参与编辑设计的第二个任务上也表现更优。

Hacker News 最新gmays2026/11/17 · 昨天8 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

我在仿真环境中用 π0.5 DROID policy 跑了两个操作任务。Opus 5.5 分析了它在分拣积木上失败的原因,并通过直接修改权重修好了它。没有训练,也没有微调:四个 attention head 被调高了 3 倍。分拣任务从 30 次中成功 9 次提升到 27 次,而第二个任务——这次编辑从未针对它设计——也变好了。

该 policy 是公开的 pi05_droid_jointpos checkpoint,完全按发布状态使用。两个任务都在 Isaac Sim 中运行,使用 Franka 机械臂、Robotiq 夹爪和 DROID 的两个摄像头,一个在肩部上方,一个在腕部。每个 episode 中物体的摆放位置都略有不同。

“把蓝色积木放进右边的箱子,把黄色积木放进左边的箱子。”

这次编辑仅使用颜色分拣任务来设计。杯子任务没有参与其中,只在最后进行了测量。Results 部分中的所有前后对比结果,均来自每个任务 30 次物体摆放,这些摆放未在设计编辑时使用。

设计编辑时完全没有使用这个任务;它只在最后运行,以检查是否有什么被弄坏。结果它反而变好了。杯子被抬得更高,和积木一样,而且 episode 结束得更早。提升幅度小于 Task 1。

机器人有时仍会拿起一个白色盒子而不是杯子;这次编辑没有改变这一点。

Opus 5.5 首先检查了模型是否混淆了颜色。它没有:当两个箱子都在桌上时,它几乎把每块积木都放进了正确的箱子。真正的失败是机械性的。机器人把积木抬得很低,夹爪卡住箱子的边缘,机械臂把整个箱子从桌上拖了下来。之后任务就无法完成了。

所以修复方法说起来很简单:把积木抬得更高,而不改变机器人的抓取方式。

π0.5 由许多称为 attention head 的小部件组成,总共有 288 个。每一个都对机器人的下一步动作贡献自己的一小部分。

在设计编辑时测量,基于原始模型录制的输入。测试结果见上方的 Results 部分。

这改变了模型 33.5 亿权重中的 157 万。编辑后的模型保存为普通 checkpoint,用标准代码运行,推理时不需要额外的 hook。测试展示了这些 head 对机器人运动的作用;模型内部为何这样计算是另一个问题。

π0.5 是两个相连的 transformer。一个大模型(2B 参数)读取摄像头图像、指令和机器人的关节位置。一个小模型(300M,即“action expert”)读取大模型产生的内容,并输出下一秒的运动。每个都有 18 层,每层 8 个 head。被编辑的四个 head 中每个模型各占两个。

被编辑的 head:vision-language model 第 6 层第 4 个 head 和第 10 层第 7 个 head;action expert 第 13 层第 4 个 head 和第 14 层第 1 个 head。

灵感来自 Weight-Space Programming。模型:π0.5 和 openpi,由 Physical Intelligence 提供。颜色分拣场景基于 RoboLab 的双箱场景和积木搭建;杯子场景是自定义场景。仿真在 NVIDIA Isaac Sim 和 Isaac Lab 中进行。

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →