返回资讯中心
外部精选
软件工程
#开发者实时流

n4ze3m发布45万参数英语TTS模型tiny-voca,可在CPU上运行

来源标题:TTS on CPU (45M param)

n4ze3m发布tiny-voca,一个含波形生成器在内仅450万参数的英语文本转语音模型,提供F2女声和M2男声两种音色。模型基于约18小时合成语音从零训练,在四核CPU上运行速度约为实时的70倍。模型采用apache-2.0许可,提供PyTorch和ONNX格式。

Hacker News 最新mrkn12026/11/16 · 今天20 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

点赞 127 文本转语音 ONNX GGUF n4ze3m/tiny-voca 英语 许可证:apache-2.0 模型卡 文件 文件和版本 xet 社区 3 复制到存储桶 tiny-voca 文件 样本 用法 PyTorch ONNX 模型 训练 评估 打开 TTS 排行榜 局限性 成本 支持 许可证 引用 致谢 tiny-voca tiny-voca 是一个小型英语文本转语音模型,有两种声音:F2(女声)和 M2(男声)。完整模型(包括波形生成器)有 450 万参数,并在约 18 小时的合成语音上从零开始训练。它在四个 CPU 线程上运行速度约为实时的 70 倍。 文件 文件 大小 内容 tiny-voca.pt 18.2 MB PyTorch 权重,float32 onnx/model.onnx 21.4 MB ONNX 导出,float32,opset 17 config.json 模型设置、音素词表、声音 phonemizer/ 5.4 MB dizione 的数据文件 samples/ 本页面上的音频 SHA256: 样本 文本 F2 M2 你好!这是 tiny voca,一个小型文本转语音模型,可以在手机或浏览器中运行。 会议改到了 3 月 14 日下午 3:30,所以我们还剩大约 45 分钟。 你真的以为我会忘记你的生日吗? 她以前从未见过大海,有好长一段时间,她站在水边一言不发。 用法 PyTorch pip install git+https://github.com/n4ze3m/dizione git+https://github.com/n4ze3m/tiny-voca hf download n4ze3m/tiny-voca --local-dir tiny-voca export DIZIONE_DATA=tiny-voca/phonemizer python -m tiny_voca.infer
--checkpoint tiny-voca/tiny-voca.pt
--voice F2
--text "Hello! This is tiny voca."
--output hello.wav 选项 默认值 含义 --text-file 从文件读取文本,而不是使用 --text。 --voice F2 F2 或 M2 --speed 1.0 语速 --pitch-shift 0 加到 log F0 上。0.058 约等于一个半音。 --pitch-range 1.0 缩放围绕话语均值的音高变化。 任意长度的文本都可以。命令会逐句读取并拼接音频。没有标点结尾的文本会补上句号。没有可读内容的句子(例如使用其他文字的句子)会被跳过。保存的音频峰值不会超过 0.99。 ONNX 计算图接收音素 id 和重音值,返回波形。文本在计算图外通过 dizione 转换为 id;这些 id 是 config.json 中 vocab 里的位置。 import numpy as np import onnxruntime as ort import soundfile as sf import dizione # 需要 DIZIONE_DATA=tiny-voca/phonemizer phones = dizione.phonemize("Hello! This is tiny voca.") one = lambda value: np.array([value], dtype=np.float32) session = ort.InferenceSession("tiny-voca/onnx/model.onnx") audio, durations = session.run(None, { "tokens": np.array([phones.ids], dtype=np.int64), "stress": np.array([phones.stress], dtype=np.int64), "voice": np.array([0], dtype=np.int64), # 0 = F2, 1 = M2 "speed": one(1.0), "pitch_shift": one(0.0), "pitch_range": one(1.0), }) audio = audio[0] audio = audio * min(1.0, 0.99 / np.abs(audio).max()) # 模型峰值可能超过 1.0 sf.write("hello.wav", audio, 24000) 输入 类型 形状 含义 tokens int64 [1, N] 音素 id,包括起始和结束 token stress int64 [1, N] 0 无,1 主重音,2 次重音 voice int64 [1] 0 = F2,1 = M2 speed float32 [1] 1.0 为预测速度;更大则更快 pitch_shift float32 [1] 加到 log F0 上 pitch_range float32 [1] 缩放音高变化 输出 类型 形状 含义 audio float32 [1, samples] 24 kHz 波形 durations int64 [1, N] 每个 token 的长度,以 256 个采样点的帧为单位 模型每次调用读取一个话语,最多 512 个 token 和 32 秒。将更长的文本拆分成句子;tiny_voca.infer.speak_text 在 Python 中执行此操作。 每个话语以句号等标点结尾:否则最后一个词会被截断。 音频峰值可能略高于 1.0(大约每二十个句子中有一个),因此在保存 16 位采样点之前要像上面那样缩放。同一个文件可在 onnxruntime-web(WebAssembly)中运行。除随机噪声信号(每个运行时自行抽取)外,其音频与 PyTorch 模型的峰值幅度误差在 0.6% 以内。 模型 文本被转换为音素,每个音素带有一个重音值。一个 transformer 编码器(4 个块)读取音素,时长预测器为每个音素给出以帧为单位的长度,两个帧级 transformer(分别为 2 个和 5 个块)预测音高、浊音和能量,然后预测波形生成器的参数。所有块使用 192 个通道、4 个注意力头和旋转位置嵌入。 波形由源-滤波器合成器生成,而不是神经声码器。在预测音高处的带限脉冲串和噪声信号各自经过一个时变滤波器整形,该滤波器的倒谱由网络每帧预测一次(256 个采样点,10.7 毫秒)。这部分有 25,862 个参数。 训练 数据 n4ze3m/tiny-voca:16,018 个片段,17.6 小时,两种声音 步数 104,737 硬件 一块 RTX 4090,7.7 小时 损失 多分辨率频谱损失;第 8,000 步后加入使用多周期和多分辨率判别器的对抗损失 训练音频是合成的。两种声音均通过文本描述使用 Qwen3-TTS VoiceDesign 创建,录音使用 Qwen3-TTS 1.7B Base 生成。不涉及真实说话人的录音。音素时长来自与 facebook/wav2vec2-lv-60-espeak-cv-ft 的强制对齐,该模型仅用于标注训练数据。模型不包含任何预训练权重。 评估 合成语音的词错误率,使用 Whisper small.en 转写。相同句子的录音以相同方式评分作为参考。 这些数据集很小,分数只是健全性检查,不是基准测试。尚未进行正式的听力测试。 开放 TTS 排行榜 官方排行榜快照:2026 年 11 月 16 日(v1.6.3),英语,不含声音克隆,Seed-TTS、CV3-Eval 和 MiniMax 的平均值;50 个排名模型(英语全覆盖)。每个 tiny-voca 声音单独一行;M2 目前按平均 WER 排名第 8,F2 排名第 13。托管排行榜注明 tiny-voca 在两行中均为仅 CPU。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →