最小神经语音合成系列可在浏览器中实时运行
来源标题:The smallest neural text-to-speech family
一个据称是目前最小的神经文本转语音系列可以直接在浏览器中实时运行,无需服务器。完整神经栈经 int8 量化,提供 28 种声音、16 种语言,文本由编译为 WebAssembly 的 espeak-ng 完成音素化。该系列中的英文语音在 ESP32-S3 上以 0.22 倍实时速度运行。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
我们所知最小的神经文本转语音系列——而且就在你的浏览器里实时播放。完整的神经处理流程——时长→声学→解码器——量化为 int8,包括音素化器在内的全部组件。28 种声音、16 种语言,全部在这个页面上发声。输入任意内容。文本由编译为 WebAssembly 的 espeak-ng 进行音素化(与在芯片上运行的是同一个 275 KB 移植版本;中文则改用 448 KB 的拼音词典),再由该声音自己的神经处理流程发声——全程在客户端完成,无需服务器。选择一种声音:显示的速度是此浏览器在你的 CPU 上的表现——设备端英文声音在 ESP32-S3 上以 0.22 倍实时速度运行。选择器中的每种声音都会在你输入文本时实时合成,就在此处,无需服务器参与。如果某种语言提供两种规格,其吉祥物下方的芯片可在两者之间切换。heart 和 heart-nano 从文本到声音的路径与其他声音不同(通过 100 频带 mel 接口进入噪声整形解码器),因此它们加载自己的小型运行时;heart-nano 则原样运行微控制器版本中的 int8 运算。
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。