
Subvocal 融资 130 万美元,开发者用 AirPods 9 分钟复刻其功能
来源标题:Subvocal raised $1.3M. A developer recreated it with AirPods in 9 minutes
开发者用 AirPods Pro 头部运动数据做了一个 macOS 原型 Subvox,9 分钟复刻了 Subvocal 的无声口型转文字能力。Subvocal 刚完成 130 万美元融资。该原型不用语言模型,仅靠小词表模板识别和统计检验判断信号是否真实。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
一个 macOS 原型,用来验证 AirPods Pro 的头部运动数据(CMHeadphoneMotionManager)是否携带足够的信息,能把无声口型转成文字。它不用语言模型,而是一个小词汇量的模板识别器,外加一个统计检验,告诉你信号是否真实存在。
brew install xcodegen # 只需一次 xcodegen generate open Subvox.xcodeproj # ⌘R 或者从命令行构建:
xcodebuild -project Subvox.xcodeproj -scheme Subvox -derivedDataPath build -allowProvisioningUpdates build open build/Build/Products/Debug/Subvox.app xcodebuild -project Subvox.xcodeproj -scheme Subvox -derivedDataPath build test 需要 macOS 14+,以及 AirPods Pro 或其他支持头部追踪的耳机,并作为 Mac 的音频输出连接。首次启动时授予「运动与健身」权限。麦克风和语音识别权限只在你启动麦克风时才会弹出。
界面
功能
传感器 实时绘制用户加速度、旋转速率和姿态曲线,显示实测采样率,提供麦克风输入选择和电平表,以及用于实验会话的录制器。
训练 选一个词,按住空格,做出该词的口型,然后松开。每次录制都存为一个模板。评估会执行留一法分类和 500 次标签置换检验,然后显示准确率与随机水平的对比、p 值和混淆矩阵。特征复选框(加速度 / 旋转 / 姿态)让你测试哪些通道携带信号。
解码 运动转文字界面。按住空格,或在校准噪声底之后使用自动检测。每个分段都会与你的模板做 DTW 匹配,并追加到转写结果中。同时并排运行一路实时麦克风转写,用于对比。
解码原理
分段(CaptureController)。按住空格,或使用基于校准噪声底的能量触发,带预卷和拖尾。
特征(MotionFeatures)。每帧提取:用户加速度(3 维)、旋转速率(3 维),以及自分段开始以来的姿态变化(3 维)。每个通道都做均值中心化,并裁掉开头和结尾的安静帧。
匹配(DTW,TemplateClassifier)。每个通道在训练集上做 z 标准化。匹配采用每个词 1-最近邻,使用带 Sakoe–Chiba 带的动态时间规整。如果最优距离超过最大距离,或与次优的差距低于最小置信度,该分段会被拒绝。
是真的吗?(Evaluation)。留一法准确率会与在打乱标签上运行同一流程的结果做对比。如果 p < 0.05,说明运动信号区分你的词的能力优于随机。
实验方案
使用工具栏或传感器界面上的「录制会话」。录制文件保存在 ~/Documents/Subvox/Sessions/<timestamp>-<condition>/:
建议的跑法:同一段 5 词脚本,分别在正常说话、耳语和无声口型三种条件下各做 10 次。然后在「训练」中比较不同特征集的评估结果。
训练集位于 ~/Library/Application Support/Subvox/dataset.json。
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。