
MacroHands提出从第一视角视频重建3D手部与相机位姿
来源标题:MacroHands: 3D hands and camera pose from egocentric video
MacroHands 可从第一视角视频中估计 3D 手部姿态与相机位姿。研究团队指出,唯一误差低于该方法的基线 ACE-Ego-Hand 是在 ARCTIC 训练集上训练的,这反映了基准数据污染问题:标注 3D 手部数据稀缺,模型易记住训练集拍摄设备与场景特征。他们建议用已知内参手机配合卷尺、关闭防抖录制自建真值数据来检验。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
唯一一个基线误差低于我们的 3D 手部基准是 ARCTIC(18.7 对 19.4 mm),而那个基线 ACE‑Ego‑Hand 是在 ARCTIC 的训练集上训练过的。这只是更大问题的一个小例子:基准污染。早期,当我们测试手部追踪模型供自己使用时,我们不断看到模型在它们训练过的基准上取得很好的数字,然后在来自不同设备的素材上完全失去深度。我们认为原因是数据稀缺:只有少数几个带标注的 3D 手部数据集,所以大多数模型在少数几个可用作基准的数据集上训练。基准训练集中的摄像头、人物和房间与其测试集相匹配,因此模型只需学会那些录制的典型手部尺寸和距离就能取得好成绩。
要正确测试这一点,意味着要在动作捕捉工作室中录制你自己的留出真值数据集,这需要时间和金钱。但差距往往如此之大,以至于一个简单得多的测试就能显示出来。拿一部已知相机内参的手机和一把卷尺,关闭视频稳定(因为它会裁剪和移动图像,使内参失效)。然后录制自己将手腕沿卷尺放在 10、20、30、40 和 50 cm 处(50 cm 有点勉强,但可行),用手机的内参运行模型,并将其手腕深度与卷尺比较。
你的测量只能精确到 1–3 cm,但这应该足够了。我们尝试的许多其他手部追踪模型偏差不是几厘米,而是 10 到 20 厘米,而且手离相机越远,误差越大。如果你正在对ivo手部追踪模型进行基准测试,我们认为这是你应该运行的第一个测试。 010203040506070809005101520时间 (s)预测距离 (cm)10 cm20 cm30 cm40 cm50 cmMacroHands其他模型0.0 sMacroHands无手
除了深度之外,我们在真实第一人称数据上不断遇到的第二个问题是模型首先找到并追踪正确手部的能力。与基准视频不同,真实素材充满了让它们出错的东西:其他人的手伸入画面、佩戴者的赤脚(看起来很像手)、佩戴者自己的手消失在所持工具后面,以及完全遮挡手部的工作手套。
基准。为了衡量我们的模型和其他模型处理这些情况的能力,我们构建了一个内部基准,包含没有任何模型训练过的第一人称片段。每一帧都为佩戴者的每只手手工标注了边界框,并标记为左手或右手。我们还标注了视野中其他人的手(约占所有标注手的三分之一),如果模型将其中一只报告为佩戴者的手,则标记为错误。片段还按情况标记:视野中有脚、遮挡、手套、无佩戴者手部。
评分。我们以相同方式对每个模型评分,基于其输出的 3D 手部。我们将其 21 个关节投影到图像中,取它们的外轮廓并填充 15%(我们标注的框是手绘的,稍大一些),作为框。当检测分数高于 0.5 且其框与标注的佩戴者手部重叠至少 50%(IoU ≥ 0.5)时,检测正确。AP50 是该重叠下的平均精度,结合了所有置信度阈值下的精确率和召回率;越高越好。
其他所有都是错误。一个不正确的框会归因于它重叠最多的标注手部,如果重叠至少 20%:正确的手(框只部分在其上)、佩戴者的另一只手(左右互换)或别人的手。与任何标注手部重叠不到 20% 的框是误检。没有正确框的佩戴者手部是漏检。下图显示了两方面:佩戴者的每只手发生了什么,以及模型报告的每个框落在哪里。 整体视野中有脚遮挡手套无佩戴者手部 正确检测框部分在手上左右互换漏检别人的手误检 所有片段。MacroHands 将其 0.2% 的框放在别人的手上;HaWoR、HaMeR 和 WiLoR 各将 23.6% 的框放在那里。 与标注的佩戴者手部重叠至少 50%(IoU ≥ 0.5)时的平均精度。它结合了所有置信度阈值下的精确率和召回率。 佩戴者的手 (%)每个标注的佩戴者手部发生了什么:被正确框找到、仅部分覆盖、左右互换或漏检。 模型报告的每个框 (%)模型报告的每个框落在哪里:在正确的手上、部分在其上、在佩戴者的另一只手上、在别人的手上,或不在任何标注手部上(误检)。 MacroHands-Mono 75.8% 82.7% 11.9% 0.2% 5.2% 84.4% 12.1% 0.2% 0.2% 3.1% HaWoR[2] 43.3% 50.6% 3.5% 2.9% 42.9% 65.6% 4.6% 3.8% 23.6% 2.5% HaMeR[12] 34.4% 43.9% 10.1% 3.1% 42.9% 57.0% 13.1% 4.0% 23.6% 2.3% WiLoR[11] 29.6% 40.0% 13.9% 3.1% 43.0% 51.9% 18.0% 4.0% 23.6% 2.5% ACE-Ego-Hand[13] 26.8% 50.6% 32.3% 1.3% 15.9% 43.9% 28.0% 1.1% 4.6% 22.4% MINT[16] 26.4% 40.8% 33.3% 1.8% 24.0% 35.5% 29.0% 1.6% 5.4% 28.5% 0100 0255075100 0255075100 AP50 (%)佩戴者的手 (%)模型报告的每个框 (%) AP50 (%)与标注的佩戴者手部重叠至少 50%(IoU ≥ 0.5)时的平均精度。它结合了所有置信度阈值下的精确率和召回率。 MacroHands-Mono 75.8% HaWoR[2] 43.3% HaMeR[12] 34.4% WiLoR[11] 29.6% ACE-Ego-Hand[13] 26.8% MINT[16] 26.4% 0100 正确检测框部分在手上左右互换漏检别人的手误检 视野中有佩戴者脚部的 5% 片段。脚为每个模型增加了误检:我们的从 3.1% 升至 7.0%,HaWoR 的从 2.5% 升至 13.3%,MINT 的达到 48.7%。我们的 AP50 几乎不变(75.8% 至 75.7%)。 与标注的佩戴者手部重叠至少 50%(IoU ≥ 0.5)时的平均精度。它结合了所有置信度阈值下的精确率和召回率。 佩戴者的手 (%)每个标注的佩戴者手部发生了什么:被正确框找到、仅部分覆盖、左右互换或漏检。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。