返回资讯中心
外部精选
大前端
#App#效率工具

App+1|NodLink:AirPods 变鼠标,动动脑就能操作电脑

转头移动光标,歪头点击,开口说指令。不用摄像头,也不用另外戴什么设备。

少数派Uinui2026/11/18 · 今天5 分钟阅读中文

以下正文同步自 少数派,版权归原站所有,已转换为易读排版。

Matrix 是少数派的写作社区,我们主张分享真实的产品体验,有实用价值的经验与思考。我们会不定期挑选 Matrix 最优质的文章,展示来自用户的最真实的体验和观点。

空间音频这个功能,用 AirPods 的朋友应该都试过:转头的时候,声音还停在原来的方向,就像音箱摆在你面前一样。

能做到这一点,是因为 AirPods 里装着陀螺仪和加速度计,一直在读你头部的朝向。这些数据本来只给空间音频用,但从 macOS 14 开始,苹果开放了一个叫 CMHeadphoneMotionManager 的接口,第三方 App 也能读到。

我希望它能帮到手不方便的朋友,例如有肢体障碍、或者长期卧床的人,用电脑这件事对大多数人来说太自然了,但对他们来说,挪一下鼠标、点一下按钮可能都很难。

其实苹果系统里自带了「头部追踪」辅助功能,靠前置摄像头看你的脸。但摄像头方案有几个绕不开的问题:要有光、要正对屏幕、脸还得在画面里。专门的头控鼠标价格往往要上千美元,还得额外戴个反光贴片或者传感器。

NodLink 只读 AirPods 里的传感器,全程不开摄像头。所以理论上,躺着、侧着、关了灯都不影响。对卧床的人来说,这一点我感觉挺关键的。

左右转头,光标左右移动;抬头低头,光标上下移动。校准之后,头部角度会直接换算成屏幕上的位置,你看向哪,光标就在哪。

同时这些都能自己改。例如把左歪头改成「按住 Fn 语音输入」,就能直接说话打字;刷视频的时候,左歪头又可以是「下一条」。

如果你觉得歪头不方便,也可以直接说:「点击」「双击」「右键」「上滑」「下滑」「复制」「粘贴」「撤销」「关闭窗口」……中文英文都行,「click」「command tab」这种也认。语音识别用的是系统自带的本地识别。

这里还有个小细节:你一开口,光标就会冻住,等识别完再在冻住的位置执行。不然识别那零点几秒里,头稍微一动,光标就会跑偏。按钮太小、头不好对准的时候,还可以说「标号」:头指的地方附近,能点的按钮会标上 1-9 数字,说个对应的数字就能点中;执行点击的时候,光标也会自动吸到附近能点的按钮上,并画一圈框告诉你选中的是哪个。

对想转头看别处又不想光标乱跑的情况,说一声「暂停」,再说一声「继续」就能再接着用。慢慢地歪头、或者边转头边歪头都不会被当成点击。按一下 Esc,或者碰一下真鼠标、键盘,控制权又会马上回到你手上。

下面的图都截自我的演示视频,戴着真的 AirPods、手不碰键鼠录的。右下角的小窗是我本人的动作。

控制台左边是歪头的角度,底下是左右转头,右边是上下点头。实际戴上之后你会发现苹果这颗传感器真的很灵敏,数值也很稳,整个头控系统就是基于它的数据来的。

下面这是我自己画的小角色,奶蛙自己不会动,它的每个动作都来自你的头:你点头它就笑,点得越快笑得越快;你一停,它也停;转头的时候,它还会出招。

说实话语音偶尔也会听错,录视频的时候它就把我说的「点击」听成过「天气」,这种时候什么都不会发生,再说一遍就好。

练习场景之外,我也在真实的抖音网页版上试了试:左歪头换下一条,全程不用手。(图里别人的视频已经模糊处理。)

为了调试方便,也为了好看,我给控制台做了一个 3D 场景。第三人称视角下,能看到一个小人戴着耳机,头朝向的延长线落在哪块屏幕上;切到第一人称,就是你自己的桌面视角。

技术上,Mac 端是一个用 Swift 写的小程序(我叫它「耳机桥」),负责读耳机数据、听语音指令、控制系统鼠标;校准、滤波、手势识别和 3D 场景都在一个网页控制台里,用 Node.js 和 three.js 写成。

你需要一台 macOS 14 以上的 Mac,和一副支持头部追踪的 AirPods(第 3 代及以后、Pro、Max)。具体的安装步骤都写在 GitHub 的 README 里,跟着走就行。

装好之后按页面顶部的引导走:连接耳机 → 定正前方 → 开始头控。用到的权限和数据都只在本机处理。没有 AirPods 的话,可以直接打开在线版用鼠标模拟头部,先感受一下。

NodLink 目前只支持 Mac,安装也有点门槛,要开终端、装 Node.js,对不熟悉电脑的朋友不太友好,之后我也想做成双击就能装的 App。另外就是语音偶尔会听错,上面也说了,听错了再说一遍就好。

其实我最想做的是手机。手机屏幕小、按钮密,又是很多人躺着时用得最多的设备。但 iOS 不允许一个 App 去控制别的 App,纯软件做不到。所以我打算加一块很便宜的 ESP32 小板子:iPhone 上的 App 读 AirPods 的头部数据,发给 ESP32,ESP32 再以蓝牙鼠标的身份连回同一部 iPhone,借系统的辅助触控来移动光标、点击。但这都是后话了。

NodLink 以 MIT 协议开源,欢迎来玩,也欢迎提 issue。如果你自己在用头控鼠标或者其他辅助设备,或者身边有需要的家人朋友,特别希望能听听你们的意见。哪里不顺手、哪些操作还做不到,都可以告诉我。

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →