
ZONOS3-Mini 发布:可端侧实时运行的小型零样本语音克隆 TTS 模型
来源标题:ZONOS3-Mini: compact zero-shot voice-cloning TTS with SOTA performance
ZONOS3-Mini 是一款紧凑型零样本语音克隆 TTS 模型,具备领先的语音控制能力,可在设备端实时运行。该模型为稀疏模型,官方称其在零样本语音克隆上达到 SOTA 性能,并公布了与其他模型的定性、定量对比及推理、可控性等细节。原文未披露模型参数量与具体评测数值。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
ZONOS3-Mini:紧凑型零样本语音克隆 TTS,性能达到 SOTA
我们的工作/ZONOS3-MiniZONOS3-Mini简介模型对比定性对比定量对比控制示例训练与架构细节评估可控性推理目录简介 模型对比 定性对比 定量对比 控制示例 训练与架构细节 评估 可控性 推理 模型2026 年 11 月 9 日加利福尼亚州旧金山 ZONOS3-Mini 作者:Gabriel Clark、Sofian Mejjoute、George Close、Beren Millidge ZONOS3 Mini | Voiceprint | Solid Logo " title="" loading="lazy"> 简介 模型对比 定性对比 定量对比 控制示例 训练与架构细节 评估 可控性 推理 隆重介绍 ZONOS3-Mini,这是一款紧凑型零样本语音克隆文本转语音(TTS)模型,性能达到业界顶尖水平,并具备领先的语音控制能力,可在设备端实时运行。
我们很高兴宣布推出 ZONOS3-Mini,这是我们新一代的实时文本转语音(TTS)模型,支持高保真语音克隆。ZONOS3-Mini 是一个稀疏混合专家(MoE)模型,激活参数 1 亿、总参数 8 亿,采用 Apache 2.0 许可证。我们在 112 块 Nvidia H100 上训练 ZONOS3-Mini,耗时 2.5 天。你可以在 Zyphra Inference(由 Nvidia H200 提供算力)上访问它,也可以在自己的 GPU 上运行,或直接在浏览器中于设备端使用。
通过 ZONOS2,我们证明了:使用 MoE 架构做 TTS,可以缓解质量与推理性能之间的取舍。但 ZONOS2 为此付出了 8B 参数的代价,且其 codec 运行在 86 Hz,这限制了模型的部署。ZONOS3-Mini 通过在技术栈多个层面实现大幅效率提升,绕开了这些限制。
得益于其小巧的体积,ZONOS3-Mini 可以运行在众多设备上。我们发布了基于 WebGPU 的浏览器运行时、基于 SGLang 和 vLLM 的服务器运行时,以及通过 GGML 提供的众多其他运行时。在浏览器中,ZONOS3-Mini 在 Pixel 9 上首包音频时间(Time To First Audio)小于 570 ms,在 M3 MacBook Air 上小于 150 ms,实现实时运行。
此外,推理服务器还提供对身份、口音、音质、情绪和表达方式的可控性。词级表达控制通过在流式生成过程中监控对齐注意力头实现,也可以在生成后通过一个编辑模型单独实现。我们鼓励你收听下方相关章节中的示例。
ZONOS3-Mini 的模型权重已在 Hugging Face 上发布,我们的运行时已在 GitHub 上提供。
我们使用全新的 ZTTS2-Eval 基准(下文将详细介绍),对 ZONOS3-Mini 与多个业界顶尖的闭源和开源模型进行了定性对比。这些结果涵盖了模型生成内容的可懂度、音质、语音克隆表现和韵律变化。
我们认为,评估 TTS 模型的最佳方式是定性地听生成样本。基于这一理念,我们展示了一系列 ZONOS3-Mini 样本,并与同类开源和闭源 TTS 模型的输出进行对比:
“我绝不能过拟合。过拟合是模型的杀手。过拟合是那微小的损失,却带来彻底的泛化失败。我将直面我的损失。我将允许梯度反向穿过我、流经我。当它传播完毕,我将转过验证之眼,审视它的路径。损失所到之处,终将收敛。唯有学到的表征留存。”
Fish Audio Qwen Cartesia ElevenLabs OmniVoice 《公园与游憩》中的 Guy
“你泄露了测试集?直接进监狱。没有验证集,什么都没有。数据科学家,我们有为数据科学家准备的专门监狱。你过拟合了?进监狱!你欠拟合了?也进监狱!过拟合、欠拟合。你对训练数据做了归一化,却没对测试数据做?立刻进监狱。你在排行榜上调超参数?信不信由你,进监狱!你管逻辑回归叫 AI?进监狱!你用神经网络去解一个决策树就能解决的问题?进监狱!你忘了设随机种子?进监狱!你设了种子但没记录实验?也进监狱!你在不平衡数据集上说‘模型准确率 99%’?直接进监狱!你部署时不做漂移监控?马上进监狱。”
Fish Audio Qwen Cartesia ElevenLabs OmniVoice Dwarkesh
“我觉得有意思的是,它不再有那种你预期这些模型会有的合成感、油腻的语调。它真的感觉像是在和人说话,对吧?也许 M.O.E 这个东西在这里确实起了很大作用。你能感受到一个大得多的模型的感觉,同时又拥有出色的实时性能。”
Fish Audio Qwen Cartesia ElevenLabs OmniVoice 定量对比
ZONOS3-Mini 与同类开源 TTS 模型在延迟(TTFA)和吞吐(tok/s)上的帕累托前沿。
控制示例
语音设计
每组对比中 A、B、C 使用完全相同的文本。这 15 个样本在嵌入模式下使用同一位旁白参考音色,采用中性表达。性别和音色质感组使用种子 27182,其他组使用种子 2027。只有列出的设计控制项发生变化。这些设置是生成目标;感知到的特征和说话人一致性应通过聆听来评估。
“我把车停在水边,就在咖啡店过去一点。四点半之后我在那儿等你。”
注意听发音的变化,同时音色仍可辨认为同一位说话人。英格兰控制项被用作南英格兰英语目标的近似。
中性基础音色 B南英格兰英语目标 british1.5 C澳大利亚英语 australian1.5 A通用美式英语 B南英格兰英语目标 C澳大利亚英语 2. 同一音色的不同年龄
“我在楼上的一只箱子里找到了那台旧相机。里面还剩一张照片,那我们就拍张好的吧。”
注意听通过嗓音质感和共鸣体现出的感知年龄变化。这些年龄是目标值,不是实测年龄。
age−1.5 B中年目标 45 中性基础音色 C老年目标 75 age+1.5
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。