
Nano-Edge-TTS 发布:基于 Kokoro 的轻量 TTS 模型,实时速度达 70 倍
来源标题:Show HN: Nano-Edge-TTS – 70x realtime, Lightweight Kokoro-based TTS model
Nano-Edge-TTS 为 Kokoro-82M 推出 1.75M 参数解码器,在音频采样率层面不运行任何神经网络,实时速度达 70 倍。它保留 Kokoro 的文本侧(发音、时序、音高及全部音色),用两个每秒运行 80 次和 160 次的小网络替代原 53.3M 参数波形解码器,通过两次逆 STFT 生成音频。项目采用 Apache-2.0 许可,已在 Apple M4 的 PyTorch 环境测试。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
点赞 3 文本转语音 PyTorch 英语 kokoro 声码器 谐波加噪声 ddsp 知识蒸馏 边缘设备 许可证:apache-2.0 模型卡 文件 文件与版本 xet 社区 复制到存储桶 nano-edge-tts 听感如何 快速开始 文件 工作原理 局限性 许可与致谢 nano-edge-tts 一个用于 Kokoro-82M 的 1.75M 参数解码器,在音频采样率上不运行任何神经网络。
Kokoro 的文本侧(发音、时序、音高以及所有音色)保持不变。其 53.3M 参数的波形解码器被替换为两个小型网络,它们分别以每秒 80 次和每秒 160 次的频率运行,为脉冲串和白噪声设置逐频率增益。两次逆 STFT 将结果转换为音频。
论文:No Network at Audio Rate: A 1.75M-Parameter Harmonic-plus-Noise Decoder for Kokoro-82M(方法、结果、听感测试与负面结果)。
¹ 240 条验证句子,PyTorch,Apple M4。² 六条验证句子,55 秒音频,同一台机器。原始数据在 results/ 中。
听感如何 同一句话分别经过 Kokoro 的解码器和本解码器:
在由单一听者(作者)进行的盲测 A/B 测试中,较早的检查点在 12 对中有 9 对被听成与 Kokoro 相同。发布的模型在大多数句子上接近 Kokoro,但并不完全相同:在某些句子上,1 到 4 kHz 之间的浊音略微过于纯净,听起来像微弱的机器音调。论文描述了该缺陷,以及两次试图通过训练消除它但未成功的尝试。
快速开始 pip install kokoro==0.9.4 safetensors soundfile hf download drmhse/nano-edge-tts --local-dir nano-edge-tts --exclude "samples/*" cd nano-edge-tts import numpy as np, soundfile as sf from kokoro import KPipeline from nano_edge_tts import load pipe = KPipeline(lang_code='a', model=load()) # 'a' 美式英语,'b' 英式英语 audio = np.concatenate([r.audio.numpy() for r in pipe('The decoder that made this has under two million parameters.', voice='af_heart')]) sf.write('out.wav', audio, 24000)
load() 返回解码器已被替换的 Kokoro-82M,因此它可以在任何使用 KModel 的地方工作。Kokoro 自身的权重和音色会在首次使用时从其仓库下载。load_decoder() 仅返回解码器:
decoder(asr, F0, N, style) -> waveform,与 Kokoro 的调用方式相同。
文件 文件 内容 nano-edge-tts.safetensors、config.json 映射器与渲染器权重(1,749,643 个参数)及其尺寸 nano_edge_tts.py 单文件中的完整解码器:激励、STFT、映射器、渲染器、加载器。仅需 PyTorch paper.pdf 论文 samples/、samples.py 上述对比对以及渲染它们的脚本 results/ 在 240 条验证句子上的评估,以及整个流程的速度和内存
工作原理 映射器(0.96M 参数,80 帧/秒):六个 ConvNeXt 块将 Kokoro 的解码器输入转换为声音的 512 通道描述。 渲染器网络(0.79M 参数,160 帧/秒):四个 ConvNeXt 块逐帧输出脉冲串 301 个频率分量的增益和相位旋转,以及五个子步中白噪声 61 个分量的增益。 合成器(无参数):按预测音高的脉冲串承载所有谐波,噪声承载气声和辅音。脉冲使用 25 ms 窗口,以分离谐波;噪声使用 5 ms 窗口,以保持辅音起音的锐度。 训练通过蒸馏 Kokoro 的解码器完成:针对 Kokoro 音频的频谱损失、波形判别器,以及在冻结的 WavLM 层上的评判器,该评判器必须区分 Kokoro 的片段和本解码器的片段。这些都不随模型分发。
局限性 在 Kokoro 的 28 个美式和英式英语音色上训练和评估。其他 Kokoro 语言可以运行但未经测试。 Kokoro 是目标,因此该模型至多与 Kokoro 一样好,并且继承了 Kokoro 的发音和韵律。 Kokoro 的 28.5M 参数文本侧保持不变;它现在占参数的 94% 和 CPU 时间的 69%。 某些浊音上存在微弱的机器音调,在两三个音色上最为明显(见论文)。 听感结果来自单一听者。速度是在笔记本 CPU 上用 PyTorch 测量的,不是在手机上。
许可与致谢 Apache-2.0,与 Kokoro-82M 相同,本模型依赖其文本侧和音色。Kokoro-82M 由 hexgrad 开发。WavLM(Microsoft)仅在训练期间用作冻结的特征提取器。
title = {No Network at Audio Rate: A 1.75M-Parameter Harmonic-plus-Noise Decoder for Kokoro-82M}, author = {Mike Chumba}, year = {2026}, url = {https://huggingface.co/drmhse/nano-edge-tts} 上月下载量 57 推理提供商 新 文本转语音 此模型未由任何推理提供商部署。🙋 请求提供商支持 drmhse/nano-edge-tts 的模型树 基础模型
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。