返回资讯中心
外部精选
软件工程
#开发者实时流

Subvocal 融资 130 万美元,开发者用 AirPods 9 分钟复刻其功能

来源标题:Subvocal raised $1.3M. A developer recreated it with AirPods in 9 minutes

开发者用 AirPods Pro 头部运动数据做了一个 macOS 原型 Subvox,9 分钟复刻了 Subvocal 的无声口型转文字能力。Subvocal 刚完成 130 万美元融资。该原型不用语言模型,仅靠小词表模板识别和统计检验判断信号是否真实。

Hacker News 最新Cappybara122026/11/3 · 14 天前7 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

一个 macOS 原型,用来验证 AirPods Pro 的头部运动数据(CMHeadphoneMotionManager)是否携带足够的信息,能把无声口型转成文字。它不用语言模型,而是一个小词汇量的模板识别器,外加一个统计检验,告诉你信号是否真实存在。

brew install xcodegen # 只需一次 xcodegen generate open Subvox.xcodeproj # ⌘R 或者从命令行构建:

xcodebuild -project Subvox.xcodeproj -scheme Subvox -derivedDataPath build -allowProvisioningUpdates build open build/Build/Products/Debug/Subvox.app xcodebuild -project Subvox.xcodeproj -scheme Subvox -derivedDataPath build test 需要 macOS 14+,以及 AirPods Pro 或其他支持头部追踪的耳机,并作为 Mac 的音频输出连接。首次启动时授予「运动与健身」权限。麦克风和语音识别权限只在你启动麦克风时才会弹出。

界面

功能

传感器 实时绘制用户加速度、旋转速率和姿态曲线,显示实测采样率,提供麦克风输入选择和电平表,以及用于实验会话的录制器。

训练 选一个词,按住空格,做出该词的口型,然后松开。每次录制都存为一个模板。评估会执行留一法分类和 500 次标签置换检验,然后显示准确率与随机水平的对比、p 值和混淆矩阵。特征复选框(加速度 / 旋转 / 姿态)让你测试哪些通道携带信号。

解码 运动转文字界面。按住空格,或在校准噪声底之后使用自动检测。每个分段都会与你的模板做 DTW 匹配,并追加到转写结果中。同时并排运行一路实时麦克风转写,用于对比。

解码原理

分段(CaptureController)。按住空格,或使用基于校准噪声底的能量触发,带预卷和拖尾。

特征(MotionFeatures)。每帧提取:用户加速度(3 维)、旋转速率(3 维),以及自分段开始以来的姿态变化(3 维)。每个通道都做均值中心化,并裁掉开头和结尾的安静帧。

匹配(DTW,TemplateClassifier)。每个通道在训练集上做 z 标准化。匹配采用每个词 1-最近邻,使用带 Sakoe–Chiba 带的动态时间规整。如果最优距离超过最大距离,或与次优的差距低于最小置信度,该分段会被拒绝。

是真的吗?(Evaluation)。留一法准确率会与在打乱标签上运行同一流程的结果做对比。如果 p < 0.05,说明运动信号区分你的词的能力优于随机。

实验方案

使用工具栏或传感器界面上的「录制会话」。录制文件保存在 ~/Documents/Subvox/Sessions/<timestamp>-<condition>/:

建议的跑法:同一段 5 词脚本,分别在正常说话、耳语和无声口型三种条件下各做 10 次。然后在「训练」中比较不同特征集的评估结果。

训练集位于 ~/Library/Application Support/Subvox/dataset.json。

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →