
作者重建本地语音助手管线,调整组件以降低误报率
来源标题:Rebuilding my local voice assistant pipeline
作者在 Platypush 上重建本地语音助手管线后,因自建方案误报漏报率高、语音起止检测在嘈杂环境和廉价麦克风下不够稳定,替换并微调了部分组件。调整后改用本地 assistant.microwakeword 做热词检测、云端 assistant.openai 做语音转文字,试运行数日效果令人满意。
以下正文由 AI 翻译自 Hacker News(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
几个月前我写过一篇文章,讲的是我如何在 Platypush 里重建旧的语音助手流水线。更早之前,我还写过几篇记录自托管语音助手探索历程的文章——2024 年那篇(用 Picovoice)、2020 年那篇(深入研究了遗留的 assistant.google 集成、如今已废弃的 assistant.alexa 集成、同样已废弃的 Snowboy 集成、DeepSpeech 集成和 Picovoice),以及 2019 年最早那篇介绍 Google Assistant 集成的文章。
在几个月时间里,我一直把最新那篇文章里描述的语音流水线当作主力使用。但在习惯了商业语音助手的稳定性之后,我对自己这套自托管流水线的高误报/漏报率感到不满,而且它在检测语音起止方面的鲁棒性也不好,尤其是在嘈杂环境和使用廉价麦克风的情况下。
经过一番实验,我决定替换并微调其中几个部分,试了几天之后,结果已经足够让我满意,值得写一篇短文来说说。
热词检测
- assistant.microwakeword(本地) 语音转文字
- assistant.openai(云端)
- assistant.vosk(本地) 生成回复
- openai(云端或本地) 文字转语音
- tts.openai(云端)
- tts.piper(本地) 热词检测
- assistant.microwakeword(本地) 语音转文字
- assistant.openai(云端)
- assistant.vosk(本地) 生成回复
- openai(云端或本地) 文字转语音
- tts.openai(云端)
- tts.piper(本地)
直到最近,我用的都是 assistant.openwakeword,它封装了 openWakeWord。它能用,但这个项目已经沉寂了一段时间,而且它所有预训练模型都是 2023 年的 v0.1 文件,大多是用合成语音训练的。实际使用中,我既遇到误报(背景噪声触发热词),也遇到漏报(除非我离麦克风很近,否则检测不到热词)。
我新增了一个插件 assistant.microwakeword,它通过 pymicro-wakeword 的 Python 绑定封装了 microWakeWord。microWakeWord 是 ESPHome 和 Home Assistant Voice 使用的引擎,其模型在持续维护,内置模型(okay_nabu、hey_jarvis、hey_mycroft、alexa)随包提供,无需下载。当前官方模型发布在 ESPHome 的 micro-wake-word-models 仓库中。它也支持自定义模型:把 microWakeWord 的 JSON manifest(连同对应的 .tflite 模型)放进插件的 models 目录,然后按名称引用即可。
这个插件暴露的 API 和 assistant.openwakeword 完全一致(同样的 models、detection_threshold、frame_duration、patience_frames、input_device、input_volume 参数,同样的 list_models 动作,同样的 HotwordDetectedEvent),所以要切换只需改一下配置,指向新插件:
assistant.microwakeword: models:
- alexa
几点设计说明:
assistant.openai 在对话开始时录制音频,并通过 Whisper 转写。难点一直在于语音结束检测:判断用户什么时候说完了。之前的实现使用 WebRTC VAD 给出的逐帧布尔值,任何一帧被判定为语音都会重置静音计时器。哪怕只有一点背景噪声,一句话也要等到达到最大对话时长才会结束。
音频预处理层(AudioPreprocessor,由各 STT 集成共用)已经重做:
assistant.openai:
auto = silero -> webrtc -> energy,取决于安装了哪些
vad_backend: auto
迟滞 + 滑动窗口:一帧的分数超过 VAD 阈值即判为语音,并且要等分数下降一定幅度才退出语音状态;逐帧判定再通过 0.5 秒窗口内的多数投票进行平滑。单次噪声突发不再能让对话一直保持开启。
自适应噪声底:背景噪声水平会被持续跟踪,音量不超过噪声底 noise_floor_factor 倍(默认 2.0,约 6 dB)的帧永远不会被判定为语音。
在一个合成基准测试中(Piper 生成的语句混入嘈杂人声和突发噪声),旧设置会在语音结束后让对话继续开启 6–10 秒;新流水线在最后一个词之后 1.0–1.6 秒就结束对话,这相当于配置的 conversation_end_timeout 加上平滑带来的延迟。
由于 Platypush 上的这些改动是直接做在其他原生语音转文字引擎也会用到的 AudioPreprocessor 里的,其他语音转文字插件也能从中受益——比如你用 assistant.vosk 做完全端侧识别时。
转写出的语句由 openai 插件处理,它同时管理 API key 和对话上下文。默认情况下,助手通过配置的 tts_plugin 播报回复;如果回复以问号结尾,对话会继续追问一轮。
自定义 hook 可以在默认回复触发之前拦截语句——比如在本地处理家居自动化命令,而不用走一轮 LLM:
from platypush import run, when from platypush.message.event.assistant import SpeechRecognizedEvent
def play_music(): run('music.mpd.play')
热词事件同样可以用类似的 hook 接到对话启动上:
from platypush import run, when from platypush.message.event.assistant import HotwordDetectedEvent
def on_hotword(**_): run('assistant.openai.start_conversation')
文字转语音:tts.openai
回复由 tts.openai 播报,音量和音色都可配置。不过在我的测试中,tts.piper 的效果也不错,而且完全在本地运行。但在我的 RaspberryPi 5 测试中,与 tts.openai 相比,它把回复处理成音频会多出约 3-4 秒延迟。
由于 TTS 输出走扬声器,而唤醒词检测器在麦克风上监听,助手插件会在对话进行期间暂停热词检测——否则助手会听到自己的声音。
openai: api_key: YOUR_API_KEY
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。