返回资讯中心
外部精选
软件工程
#开发者实时流

康奈尔大学用智能手表实现全身动作追踪

来源标题:Researchers track whole body movement with just a smartwatch

康奈尔大学SciFi实验室开发出EchoMotion技术,首次仅凭现成智能手表和轻量AI模型,利用超声波实现全身姿态追踪。该技术借助手表内置扬声器和麦克风构建类声呐系统,兼顾隐私与效率。未来集成到商用可穿戴设备或VR系统后,可用于健身追踪、日常活动监测和康复训练。

Hacker News 最新PaulHoule2026/11/13 · 4 天前14 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

研究人员首次能够仅凭一款现成的智能手表和一套轻量级人工智能模型,利用超声波追踪一个人全身的运动——同时兼顾隐私与效率。

这项名为 EchoMotion 的新技术由康奈尔大学未来交互智能计算机接口(SciFi)实验室开发,该实验室由康奈尔安·S·鲍尔斯计算与信息科学学院信息科学副教授张诚领导。它利用商用智能手表内置的扬声器和麦克风,通过类似声呐的传感系统确定人体的姿态。一旦 EchoMotion 被集成到商用可穿戴设备或虚拟现实(VR)系统中,它便可被用于追踪健身锻炼、日常活动以及身体康复的进展。

Zheng 表示,EchoMotion 代表了一种可扩展的方案,能够利用 AI 理解现实世界中的人类行为。

他于 10 月 13 日在上海举行的美国计算机协会普适与泛在计算国际联合会议暨国际可穿戴计算研讨会(UbiComp/IWSC)上宣读了论文《EchoMotion: Towards Full-Body Pose Tracking with a Single Smartwatch Using Active Acoustic Sensing》。

信息科学领域博士研究生 Saif Mahmud 演示 EchoMotion——一套利用现成智能手表追踪身体运动的系统。

“这对身体追踪来说是一次非常重要的飞跃,”信息科学领域博士研究生、这项新研究的第一作者 Saif Mahmud 说。他表示,现有的可穿戴设备使用加速度计和陀螺仪等传感器,只能确定设备本身的运动。因此,全身追踪传统上需要更复杂的配置,可能还要包括智能手机、耳机或 VR 头显。

一些追踪系统还集成了摄像头,但 EchoMotion 对声波的利用具有多重优势。声学信号能保护佩戴者及其周围人的隐私——无需在健身房架设摄像头——而且产生的数据量更小,处理起来更简单、成本更低。

“虽然像 ChatGPT 这样的大语言模型一直见诸报端,但 EchoMotion 表明,在可穿戴设备上运行的超小型模型同样革新了人机交互中的传感技术,”共同作者、康奈尔鲍尔斯学院信息科学教授 François Guimbretière 说。

这项技术还节省电池电量,并且可与现有的现成手表配合使用。在原型中,传感功耗约为 12 毫瓦,大约是可穿戴摄像头的四十分之一,而在 Galaxy Watch 6 上进行一次 30 分钟的会话仅消耗 5% 到 6% 的电量。

“我们付出了大量努力,让 EchoMotion 能在商用设备上运行,从而使采用变得非常容易,”Mahmud 说。

为了开发这项技术,研究人员最初自制了一个 3D 打印的手表仿制品,两侧各配有一对麦克风和扬声器。两个扬声器发出超声波信号,将人包围在一个由听不见的声波构成的球体中。随后,两个麦克风拾取人体四肢运动时反射回来的回声。

研究人员从 10 名志愿者身上采集了回声模式,这些志愿者将手表戴在非惯用手上,完成了 18 项练习。利用这些数据,研究人员开发了一个深度学习模型,将这些模式转化为身体运动。他们通过将从头到脚踝的 12 个关节的预测位置与摄像头捕捉到的身体姿态进行对比,来测量准确度。

然而,现成的智能手表只有一对麦克风和扬声器,因此他们在未经改装的三星 Galaxy Watch 6 上,用 15 名新志愿者测试了 EchoMotion 系统。对于初次使用该系统的人,每个关节位置预测的平均误差低于 4 英寸。一次 12 分钟的一次性校准将误差减少了三分之一以上,降至约 2.4 英寸。

同一个 AI 模型在未经任何再训练的情况下,也能在三星 Galaxy Watch 7 和 Google Pixel Watch 3 上运行。

为了了解 EchoMotion 在实验室之外的表现,研究人员让 10 名新参与者在一个小房间、一条狭窄走廊以及一条嘈杂道路旁佩戴智能手表完成那 18 项练习。家具和环境噪音没有造成干扰,但由于其他人的回声,系统在走廊中的表现略有下降。不过,Mahmud 预计,随着数据增多——从几十名用户增加到数千名用户——他们的模型将能更好地解读佩戴者的动作,即使在拥挤的环境中(如地铁)也是如此。

目前,团队正在开发这项技术以用于健身追踪,这样个人健身助手将能够计算用户的重复次数,甚至纠正他们的动作,例如在保加利亚分腿蹲中。他们还在探索将 EchoMotion 与智能眼镜上的第一人称视觉相结合,以高效追踪一个人所操作的物体。

“在不久的将来,借助智能手表或智能眼镜等可穿戴设备,个人助手将为你写下整天的描述——你做了什么、吃了什么,”Mahmud 说。“这个项目实现了这一愿景中的身体追踪部分。”

该研究的共同作者包括 KAIST 的 Jiwan Kim;信息科学领域博士研究生 Tianhong Catherine Yu;24 届的 Kenny Liang 和 20 届的 Vineet Parikh(24 届硕士)。

这项研究得到了美国国家科学基金会的支持。

Patricia Waldron 是康奈尔安·S·鲍尔斯计算与信息科学学院的撰稿人。

将康奈尔新闻直接发送到您的收件箱。

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →