返回资讯中心
外部精选
软件工程
#开发者实时流

开发者重新调整自建语音助手流程,用本地热词检测加云端语音识别

来源标题:Rebuilding my local voice assistant pipeline

开发者将其在 Platypush 中自建的语音助手流程进行部件替换和微调,以解决此前误报漏报率高、语音起止检测不稳的问题。新方案用本地 assistant.microwakeword 做热词检测,语音转文字改用云端 assistant.openai。经过几天试用,效果已令他满意。

Hacker News 最新todsacerdoti2026/11/19 · 今天22 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

几个月前我写过一篇文章,讲我如何用 Platypush 重建了旧的语音助手管线。更早的文章则记录了我一路折腾自托管语音助手的经历——2024 年(用 Picovoice)、2020 年(深入研究了旧的 assistant.google 集成、如今已废弃的 assistant.alexa 集成、同样已废弃的 Snowboy 集成、DeepSpeech 集成和 Picovoice),以及 2019 年那篇描述 Google Assistant 集成的原始文章。

有几个月时间,我把最新文章里描述的那套语音管线当作日常主力使用。但在习惯了商业语音助手的稳定性之后,我对自托管管线的误报/漏报率很不满意,而且它在检测语音开始/结束方面也不够稳健,尤其是在嘈杂环境和使用廉价麦克风的情况下。

经过一番实验,我决定替换并微调其中几个部分,试了几天之后效果令人满意,于是我决定写一篇短文来说说这件事。

热词检测

  • assistant.microwakeword(本地) 语音转文字
  • assistant.openai(云端)
  • assistant.vosk(本地) 生成回复
  • openai(云端或本地) 文字转语音
  • tts.openai(云端)
  • tts.piper(本地) 热词检测
  • assistant.microwakeword(本地) 语音转文字
  • assistant.openai(云端)
  • assistant.vosk(本地) 生成回复
  • openai(云端或本地) 文字转语音
  • tts.openai(云端)
  • tts.piper(本地)

直到最近,我一直用的是 assistant.openwakeword,它封装的是 openWakeWord。它能用,但项目已经沉寂了一段时间,而且它所有预训练模型都是 2023 年的 v0.1 文件,大多是用合成语音训练出来的。实际使用中我既遇到误报(背景噪音触发热词),也遇到漏报(除非我离麦克风很近,否则检测不到热词)。

于是我新增了一个插件 assistant.microwakeword,通过 pymicro-wakeword 这层 Python 绑定封装 microWakeWord。microWakeWord 是 ESPHome 和 Home Assistant Voice 使用的引擎,它的模型维护活跃,内置模型(okay_nabu、hey_jarvis、hey_mycroft、alexa)随包提供——无需下载。当前的官方模型发布在 ESPHome 的 micro-wake-word-models 仓库中。它也支持自定义模型:把一个 microWakeWord JSON 清单(连同它的 .tflite 模型)放进插件的 models 目录,然后用名字引用即可。

这个插件对外暴露的 API 和 assistant.openwakeword 完全一致(同样的 models、detection_threshold、frame_duration、patience_frames、input_device、input_volume 参数,同样的 list_models 动作,同样的 HotwordDetectedEvent),所以切换只需要改配置、指向新插件:

assistant.microwakeword: models:

  • alexa

几点设计说明:

assistant.openai 在对话开始时录制音频,并通过 Whisper 转写。一直以来的难点都是语音结束检测:判断用户什么时候说完了。之前的实现使用 WebRTC VAD 给出的逐帧布尔值,只要有任意一帧被判定为语音,就会重置静音计时器。哪怕只有一点点背景噪音,一句话也只能等到达到最大对话时长时才结束。

音频预处理层(AudioPreprocessor,由各 STT 集成共用)已经重做:

assistant.openai:

auto = silero -> webrtc -> energy,取决于安装了哪些

vad_backend: auto

迟滞 + 滑动窗口:一帧的 VAD 分数超过阈值就判为语音,之后要等分数回落到一定幅度以下才不再判为语音,同时逐帧判定会以 0.5 秒窗口内的多数投票进行平滑。单个噪音突发再也无法让对话一直保持开启。自适应噪声底:背景噪声水平会随时间跟踪,响度不超过 noise_floor_factor(默认 2.0,约 6 dB)乘以噪声底的帧永远不会被判为语音。

在一个合成基准测试中(Piper 生成的语句混合嘈杂人声和突发噪声),旧设置会在语音结束后让对话保持开启 6–10 秒;新管线在最后一个词之后 1.0–1.6 秒结束,这正好等于配置的 conversation_end_timeout 加上平滑带来的延迟。

由于 Platypush 的这些改动是直接在 AudioPreprocessor 里做的,而其他原生语音转文字引擎也共用这个组件,所以其他语音转文字插件也能从中受益——比如你用 assistant.vosk 做纯本地检测时。

转写出的语句由 openai 插件处理,它同时负责 API key 和对话上下文。默认情况下,助手通过配置的 tts_plugin 来朗读回复;如果回复以问号结尾,对话会以追问的形式继续。

自定义 hook 可以在默认回复触发之前拦截语句——比如在本地处理家居自动化命令,而不必走一趟 LLM:

from platypush import run, when from platypush.message.event.assistant import SpeechRecognizedEvent def play_music(): run('music.mpd.play')

热词事件也可以用类似的 hook 接到对话开启上:

from platypush import run, when from platypush.message.event.assistant import HotwordDetectedEvent def on_hotword(**_): run('assistant.openai.start_conversation')

文字转语音:tts.openai

回复由 tts.openai 朗读,音量和音色均可配置。不过在我的测试中 tts.piper 的效果也不错,而且完全在本地运行。但在我用 RaspberryPi 5 的测试中,相比 tts.openai,它把回复处理成音频多带来了约 3–4 秒的延迟。

由于 TTS 输出送往扬声器,而唤醒词检测器在麦克风上监听,所以助手插件会在对话进行期间暂停热词检测——否则助手就会听到自己说话。

openai: api_key: YOUR_API_KEY

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →