
开发者用 AirPods 9 分钟复现 Subvocal 的无声语音识别原型
来源标题:Subvocal raised $1.3M. A developer recreated it with AirPods in 9 minutes
开发者用 AirPods Pro 头部运动数据做了一个 macOS 原型 Subvox,检验其能否把默念的口型转成文字。该项目不使用语言模型,而是小词表模板识别加统计检验,判断信号是否真实。Subvocal 此前曾为类似方向融资 130 万美元。
以下正文由 AI 翻译自 Hacker News(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
一个 macOS 原型,用来测试 AirPods Pro 的头部运动数据(CMHeadphoneMotionManager)是否携带足够的信息,能把无声口型转成文字。 它不使用语言模型。它是一个小词汇量模板识别器,外加一个统计检验,用来判断信号是否真实存在。 brew install xcodegen # 只需一次 xcodegen generate open Subvox.xcodeproj # ⌘R 或从命令行运行: xcodebuild -project Subvox.xcodeproj -scheme Subvox -derivedDataPath build -allowProvisioningUpdates build open build/Build/Products/Debug/Subvox.app xcodebuild -project Subvox.xcodeproj -scheme Subvox -derivedDataPath build test 需要 macOS 14+、AirPods Pro 或其他支持头部追踪的耳机,并作为 Mac 的音频输出连接。首次启动时,授予 Motion 权限。麦克风和语音提示只在你启动麦克风时才会出现。 屏幕 功能说明 传感器 实时绘制用户加速度、旋转速率和姿态,显示实测采样率,提供麦克风输入选择器和电平表,以及用于实验会话的录制器。 训练 选择一个词,按住空格键,做出无声口型,松开。每次采集都存储为一个模板。评估会运行留一法分类和 500 次标签置换检验,然后显示准确率与随机水平的对比、p 值和混淆矩阵。特征复选框(加速度 / 旋转 / 姿态)让你测试哪些通道携带信号。 解码 运动转文字屏幕。按住空格键,或在校准噪声底之后使用自动检测。每个片段都会与你的模板进行 DTW 匹配,并加入转录文本。同时运行一个实时麦克风转录用于对比。 解码的工作原理 分段(CaptureController)。按住空格键,或使用高于校准噪声底的能量触发,带预录和拖尾。 特征(MotionFeatures)。每帧:用户加速度(3)、旋转速率(3),以及自片段开始以来的姿态变化(3)。每个通道都做均值中心化,并修剪掉安静的开头和结尾帧。 匹配(DTW、TemplateClassifier)。每个通道在训练集上做 z 标准化。匹配采用每个词 1-最近邻,使用带 Sakoe–Chiba 带的动态时间规整。如果最佳距离高于最大距离,或与次优的差距低于最小置信度,则该片段被拒绝。 是真的吗?(评估)。将留一法准确率与在打乱标签上运行相同流程的结果进行比较。如果 p < 0.05,说明运动流区分你的词的能力优于随机水平。 实验方案 使用工具栏或传感器屏幕上的 Record Session。录音保存到 ~/Documents/Subvox/Sessions/<timestamp>-<condition>/: 建议的运行:同一段 5 词脚本,分别在正常说话、耳语和无声口型三种条件下各做 10 次。然后,在训练中比较不同特征集的评估结果。 训练集位于 ~/Library/Application Support/Subvox/dataset.json。
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。