Shotwell-Bench 发布：可接受多种有效标注的评测基准

TL;DR：Shotwell-Bench 解决了标注基准的核心问题。现有基准对标注的期望极其死板，会惩罚准确的模型输出，导致基准分数充满噪声。Shotwell-Bench 接受对同一视频的多种有效标注方式，能更全面地反映模型表现。GPT-6 Astra 在该基准上表现最佳。

VLM 是为机器人策略预训练所用的大量第一人称视频生成密集语言标注的一种实用方法。

现有评估 VLM 标注准确性的基准存在缺陷，因为它们会惩罚那些与基准参考集不同、但仍然有效的标注。这些基准的局限性阻碍了研究进展，因为它们无法准确捕捉细微差别。我们构建了 Shotwell-Bench，在 WGO-Bench 基础上扩展，用于评估标注生成的准确性，同时不惩罚对同一视频进行切分的不同有效方式。

以下是分割和描述准确性的 F1 分数。GPT-6 Astra 在两项上均领先。

标注将一段 episode 划分为代表动作的多个片段，并用文本描述为每个动作添加说明。VLM 在这方面不同方法之间的权衡是：

准确性尤其难以基准化：标注者可以选择不同的边界或以不同方式对动作分组，却都能对发生的事给出同样有效的描述。

Shotwell-Bench 通过四种方式重构 WGO-Bench，提供了更好的准确性评判方法：

WGO-Bench 和 MicroAnnotationBench 将 VLM 标注与人类参考标注进行比较。两者都只将分割与单一参考时间线进行比较。这会惩罚对动作的合理替代分组方式，并低估标注质量。在已发布的这两个基准的评估中，Astra 的 F1 分数约为 0.40。下面我们展示了在 WGO-Bench 上运行 Astra 的示例，其中有效的替代分组因基准 0.75 的 IoU 阈值而被标记为错误。

WGO 将这段剥皮并丢弃的序列归为一个长动作。使用 WGO 的 prompt，Astra 识别出三个较短的剥皮动作，全部低于 WGO 的重叠阈值。使用 Shotwell 的指南，Astra 将剥皮与把果皮放到一边分开；图中显示的六个边界全部与审核过的参考一致。

两个参考都接受放下杯子。随后 WGO 将拿起海绵和拿起玻璃杯分为两个动作，而其 Astra 运行将两者合并，因此拿起动作未能通过重叠匹配。Astra 较短的擦洗动作也无法匹配 WGO 较长的擦洗并冲洗参考。Shotwell-Bench 允许合并的拿起动作和擦洗拆分；此片段中 Astra 的五个边界全部匹配。

我们的方法依赖于参考标注和评分中的两个重要特性：边界范围和可选边界。

边界总是存在一个有效的时间戳范围，但该范围的宽度会因片段而异。某些情况下范围可能很宽。例如，一个“拿起”动作可能在物体被抬离表面时立即结束，也可能在轨迹中稍晚结束——如果此时没有其他动作开始。另一些情况下范围可能窄得多，例如当倾倒结束、操作者立即开始放置容器时。

我们的方法比固定容差或 IoU 重叠阈值更直接地捕捉可接受的时间。我们为每个边界创建一个可接受范围：落在该范围内的模型标记可计为命中，而落在所有可接受范围之外的标记则为错误。匹配是一对一的，因此已匹配范围内多出的标记仍算错误。

无论标注指南多么具体，总会存在不同分割解释都有效的情况。两个动作可以合并在一起，也可以拆分为独立片段，两种选择都站得住脚。评分应接受每种有效解释。Shotwell-Bench 通过区分次要边界和主要边界来处理这些替代方案：主要边界是必需的，遗漏一个会被扣分。次要边界是可选的，可以省略而不扣分。在所有次要和主要边界范围之外放置标记同样会被扣分。

在上面的示例中，Opus 将放置玻璃杯和海绵拆分开；Astra 将它们合并。两者都匹配了必需的边界，而拆分是可选的。然而 Luna 漏掉了最后一个边界，因为上面显示的最后一个片段远远超出了该边界。

描述同一动作的好方式不止一种。对于每个片段，我们列出重要的细节，并将其他细节标记为可选。正确的输出必须列出所有必需细节，且不得捏造任何不在必需或可选细节列表中的细节。在一个细节内部，对某个动作或物品可能存在不同解释。这些解释选项在下方以方括号表示，评判者会接受其中任一选项。不同的措辞可以接受，具体程度略有不同也可以接受。

以下是三个参考片段描述示例，以及被接受和被拒绝的标注。

在上述片段中，Astra 的 Shotwell 标注与参考片段高度吻合，这使得评分更加清晰和客观。片段边界几乎相同，有些描述文字仅相差几个词。看看 Astra 的描述在 Shotwell-Bench 上比在 WGO-Bench 上如何更紧密地对齐，无论是在时间上还是措辞上。

这种相似性源于指南对片段边界位置以及描述格式要求的明确程度。通过减少分割和描述中的歧义，该指南使模型输出与参考标注更加一致，也更易于可靠地评估。

该指南包含大量关于片段边界必须放置位置的规则。以下是上述片段最相关的部分；展开片段可阅读完整规则：

（原文较长，此处译出前 6000 字，完整内容请点「打开原文」。）