Physicl 推出 Studio 应用，为物理 AI 模型生成可精确标注的虚拟训练场景

描述你的模型遇到的问题。Studio 提议场景及其变体，以数千种方式渲染，并对每一帧精确标注。

Studio 是 Physicl 的第一款应用。研究人员描述他们模型遇到的问题。Studio 从包含 10,000 个环境和 100,000 个底层资产的库中提议一个匹配的场景，这些资产基于真实 3D 几何构建；它建议覆盖该问题的变体，并渲染图像和视频，每一帧都带有精确的真值：深度、表面法线、分割、边界框和相机位姿。

今天我们宣布了种子轮融资并推出了 Studio。本文介绍它的工作原理、数据为何可信，以及团队如何使用它。

Physical AI 模型在见过的条件下表现良好，在没见过的条件下就会失效：低角度阳光斜照在台面上、物体半掩在杂物后面、相机比训练时低了几厘米。这些情况按定义就是罕见的，因此以足够规模采集足够的真实世界数据几乎不可能。

收集更多素材并不能解决这个问题。你无法预约罕见情况，无法只改变一件事来复现它，也无法精确标注它。团队最终知道模型在哪里失败，却没有任何办法获取能修复它的数据。

1. 描述问题。从出错的地方开始，用平实的语言，就像向同事解释那样：

2. Studio 提议场景和变体。它从库中挑选一个匹配的厨房，并以物理上合理的方式放置物体：所有东西都放在能承载它的表面上，没有相互穿插，通道保持畅通。然后它建议要改变什么来覆盖该问题：一天中的时间、杯子被遮挡的程度、周围放置哪些物体、相机高度。

3. 调整什么变化、什么保持不变。在界面中，你可以保留、丢弃或调整每个变体及其范围。你还可以锁定不能移动的东西，比如相机路径，这样两个片段之间的任何差异都来自你选择的条件。

4. 渲染并导出。Studio 渲染图像或视频，包含你选择的每一层真值，并记录每一帧背后的条件：一天中的时间、哪些物体移动了、杯子被遮挡的程度。

构造即标注。深度、法线、掩码和边界框由生成图像的 3D 场景计算得出，而非由模型预测或标注员绘制。不存在可继承的标注错误，细小和半遮挡的物体也能获得像素级精确的掩码，而且当光线变暗时标签依然正确。

物理根基。每个场景都基于具有已知材质的真实几何构建，并使用基于物理的光照渲染。物体位于它们在物理上可能的位置，按真实世界比例，因此模型学到的关于尺寸、距离和遮挡的知识在渲染之外依然成立。

受控变化。每个条件都是一个参数，而不是采集时的偶然，因此你可以精确决定从一张图像到下一张图像什么发生了变化。