
开发者重新调整自建语音助手流程,用本地热词检测加云端语音识别
来源标题:Rebuilding my local voice assistant pipeline
开发者将其在 Platypush 中自建的语音助手流程进行部件替换和微调,以解决此前误报漏报率高、语音起止检测不稳的问题。新方案用本地 assistant.microwakeword 做热词检测,语音转文字改用云端 assistant.openai。经过几天试用,效果已令他满意。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
几个月前我写过一篇文章,讲我如何用 Platypush 重建了旧的语音助手管线。更早的文章则记录了我一路折腾自托管语音助手的经历——2024 年(用 Picovoice)、2020 年(深入研究了旧的 assistant.google 集成、如今已废弃的 assistant.alexa 集成、同样已废弃的 Snowboy 集成、DeepSpeech 集成和 Picovoice),以及 2019 年那篇描述 Google Assistant 集成的原始文章。
有几个月时间,我把最新文章里描述的那套语音管线当作日常主力使用。但在习惯了商业语音助手的稳定性之后,我对自托管管线的误报/漏报率很不满意,而且它在检测语音开始/结束方面也不够稳健,尤其是在嘈杂环境和使用廉价麦克风的情况下。
经过一番实验,我决定替换并微调其中几个部分,试了几天之后效果令人满意,于是我决定写一篇短文来说说这件事。
热词检测
- assistant.microwakeword(本地) 语音转文字
- assistant.openai(云端)
- assistant.vosk(本地) 生成回复
- openai(云端或本地) 文字转语音
- tts.openai(云端)
- tts.piper(本地) 热词检测
- assistant.microwakeword(本地) 语音转文字
- assistant.openai(云端)
- assistant.vosk(本地) 生成回复
- openai(云端或本地) 文字转语音
- tts.openai(云端)
- tts.piper(本地)
直到最近,我一直用的是 assistant.openwakeword,它封装的是 openWakeWord。它能用,但项目已经沉寂了一段时间,而且它所有预训练模型都是 2023 年的 v0.1 文件,大多是用合成语音训练出来的。实际使用中我既遇到误报(背景噪音触发热词),也遇到漏报(除非我离麦克风很近,否则检测不到热词)。
于是我新增了一个插件 assistant.microwakeword,通过 pymicro-wakeword 这层 Python 绑定封装 microWakeWord。microWakeWord 是 ESPHome 和 Home Assistant Voice 使用的引擎,它的模型维护活跃,内置模型(okay_nabu、hey_jarvis、hey_mycroft、alexa)随包提供——无需下载。当前的官方模型发布在 ESPHome 的 micro-wake-word-models 仓库中。它也支持自定义模型:把一个 microWakeWord JSON 清单(连同它的 .tflite 模型)放进插件的 models 目录,然后用名字引用即可。
这个插件对外暴露的 API 和 assistant.openwakeword 完全一致(同样的 models、detection_threshold、frame_duration、patience_frames、input_device、input_volume 参数,同样的 list_models 动作,同样的 HotwordDetectedEvent),所以切换只需要改配置、指向新插件:
assistant.microwakeword: models:
- alexa
几点设计说明:
assistant.openai 在对话开始时录制音频,并通过 Whisper 转写。一直以来的难点都是语音结束检测:判断用户什么时候说完了。之前的实现使用 WebRTC VAD 给出的逐帧布尔值,只要有任意一帧被判定为语音,就会重置静音计时器。哪怕只有一点点背景噪音,一句话也只能等到达到最大对话时长时才结束。
音频预处理层(AudioPreprocessor,由各 STT 集成共用)已经重做:
assistant.openai:
auto = silero -> webrtc -> energy,取决于安装了哪些
vad_backend: auto
迟滞 + 滑动窗口:一帧的 VAD 分数超过阈值就判为语音,之后要等分数回落到一定幅度以下才不再判为语音,同时逐帧判定会以 0.5 秒窗口内的多数投票进行平滑。单个噪音突发再也无法让对话一直保持开启。自适应噪声底:背景噪声水平会随时间跟踪,响度不超过 noise_floor_factor(默认 2.0,约 6 dB)乘以噪声底的帧永远不会被判为语音。
在一个合成基准测试中(Piper 生成的语句混合嘈杂人声和突发噪声),旧设置会在语音结束后让对话保持开启 6–10 秒;新管线在最后一个词之后 1.0–1.6 秒结束,这正好等于配置的 conversation_end_timeout 加上平滑带来的延迟。
由于 Platypush 的这些改动是直接在 AudioPreprocessor 里做的,而其他原生语音转文字引擎也共用这个组件,所以其他语音转文字插件也能从中受益——比如你用 assistant.vosk 做纯本地检测时。
转写出的语句由 openai 插件处理,它同时负责 API key 和对话上下文。默认情况下,助手通过配置的 tts_plugin 来朗读回复;如果回复以问号结尾,对话会以追问的形式继续。
自定义 hook 可以在默认回复触发之前拦截语句——比如在本地处理家居自动化命令,而不必走一趟 LLM:
from platypush import run, when from platypush.message.event.assistant import SpeechRecognizedEvent def play_music(): run('music.mpd.play')
热词事件也可以用类似的 hook 接到对话开启上:
from platypush import run, when from platypush.message.event.assistant import HotwordDetectedEvent def on_hotword(**_): run('assistant.openai.start_conversation')
文字转语音:tts.openai
回复由 tts.openai 朗读,音量和音色均可配置。不过在我的测试中 tts.piper 的效果也不错,而且完全在本地运行。但在我用 RaspberryPi 5 的测试中,相比 tts.openai,它把回复处理成音频多带来了约 3–4 秒的延迟。
由于 TTS 输出送往扬声器,而唤醒词检测器在麦克风上监听,所以助手插件会在对话进行期间暂停热词检测——否则助手就会听到自己说话。
openai: api_key: YOUR_API_KEY
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。