gradium 开源端侧 TTS 模型 Phonon，在 Hugging Face 榜单上登顶

回到文章列表 a]:hidden"> 深入了解 Phonon TTS：推出高质量端侧语音，登顶基准测试 已发布 2026 年 11 月 5 日 在 GitHub 上更新 点赞 - Olesia Krizhevich olesiagradium 关注 gradium Laurent Mazare lmz 关注 gradium Eric Bezzam bezzam 关注 Eustache Le Bihan eustlb 关注 :last-child]:mb-0"> 为什么语音应当运行在你的设备上 我们发布了什么 演示与首批项目 Phonon 在 Hugging Face Open TTS 排行榜上的表现 推理 下一步

两周前，我们开放了 Phonon——这是我们的一款小型文本转语音模型，运行在你自己的设备上。它不需要服务器，也不需要网络，你输入的内容始终留在你身边。

到目前为止，反响让我们非常满意。下面就是这次发布的完整故事：我们为什么打造 Phonon、它能做什么、随它一同发布的演示，以及它在 Hugging Face Open TTS 排行榜上的表现。

为什么语音应当运行在你的设备上

大多数语音 AI 都活在云端：每一句话都要往返服务器一趟。Phonon 则运行在你自己的设备上。你的文本留在本地，语音无需网络也能工作。我们还开放了模型权重。Phonon 31m 采用 Apache 2.0 许可，因此你可以免费使用，甚至用于商业产品。其他模型采用 CC BY-NC 许可，对非商业项目免费。如果你要用这些模型做商业产品，定价依据是你的用户数量，而不是你生成了多少语音。

让一副好嗓音在小设备上跑起来，一直很难。你可以把模型做小，但那样音质就不够好；或者你可以让它音质出色，但那样就装不进小设备。这两个问题我们都解决了。

我们在四月发布了 Phonon，随后六个月里与合作伙伴和早期用户一起在其上迭代。他们的反馈帮助我们塑造了这次发布。模型变得更小，我们还增加了更多语言，并通过语音克隆和语音设计支持自定义音色。

Phonon 基于 Pocket TTS 谱系，因此使用 flow matching 来生成音频，这与其他 TTS 系统所用的建模技术非常不同。正是这一点让我们能把这种水平的音质带到如此小的模型上，但它在训练模型时也带来了新的挑战。训练最初在数值上并不稳定，需要若干技巧才能在全部五种语言上产出高质量结果。

我们发布了什么

Phonon 有两种规格，分别约 65 MB 和 75 MB。两者合起来能说英语、法语、德语、西班牙语和葡萄牙语。内置音色超过 100 种，你也可以在 Gradium Studio 中创建自己的音色。Phonon 还能正确处理大多数其他 TTS 系统经常出错的重要内容，比如电话号码、日期和代码。

它能在手机、笔记本电脑、单板计算机和浏览器标签页中运行，所以你现在就能听到它。Phonon 31m 说英语，采用 Apache 2.0 许可，因此你可以自由地在其上构建，包括用于商业产品。Phonon 40m 以非商业许可覆盖全部五种语言。

演示与首批项目

这次发布附带了来自朋友和我们自己团队的演示。在一块关闭 Wi-Fi 的 Apple Watch 上，Phonon 一步步带你完成手冲咖啡。在一部没有信号的 iPhone 上，它为你数次数、陪你坚持锻炼。Autonomous 公司一台名叫 Lamp 的机器人戴上一顶分院帽，用角色口吻说话。在浏览器里，一个离线恐龙跑酷游戏变成了由 Rex 主持的电台节目。还有一个科幻游戏，语音在玩家自己的机器上生成；以及《追忆似水年华》逐页朗读。

Hugging Face 团队构建了 Transformers 集成，因此开发者从第一天起就能在 Transformers 中使用 Phonon。

开发者也已经开始在其上构建。一个 ExecuTorch 转换版本让 Phonon 在访问者的浏览器 GPU 上运行，Micdrop 把它带到了 Node.js 应用，像 smallest-s2s 这样的 Spaces 也基于它构建。

Phonon 在头两周的下载量超过 200,000 次，目前仍在 Hugging Face 上 trending。

Phonon 在 Hugging Face Open TTS 排行榜上的表现

Open TTS Leaderboard 是 Hugging Face 一个非常新的项目，我们很喜欢它。Hugging Face Hub 上有超过 9,000 个 TTS 模型，这个排行榜为开发者提供了一个地方来比较开放模型并并排试听。模型在 23 种语言上接受评估，指标包括可懂度（输出的词错误率）、速度（逆实时因子和首音频时间）和自然度（英语用 UTMOS，韩语用 KOMOS）。固定音色和语音克隆都会被评估，后者还额外有一个说话人相似度指标。排行榜还有一个 Listen 标签页，你可以在那里方便地亲自比较 TTS 输出，并为你最喜欢的投票。

在可懂度上，Phonon 在德语和西班牙语中排名第一，在我们评估的每种语言中都进入前三，与体积最高达其 100 倍的模型同台竞技。

速度是 Phonon 真正大放异彩的地方，这些模型在 CPU 流式基准的首音频时间上登顶。

推理

我们专门为 Phonon 构建了一个新的推理框架 ptts。ptts 的目标是在各种设备上获得最佳性能，因此支持 10 多种后端：CPU（Intel、Arm、WebAssembly）、GPU（CUDA、Vulkan、Metal、WebGPU）和 NPU（Apple Core ML、Snapdragon®）。

从 v5.21 起，Phonon 也可在 🤗 Transformers 中使用，作为其参考 PyTorch 实现。ptts 在设备上运行单个流，而 Transformers 则面向 GPU 吞吐量：批量生成、全图 torch.compile，例如用于大规模合成语音数据集。作为原生 PyTorch，它是进一步构建的基础，无论是把 Phonon 集成到你自己的技术栈，还是研究模型本身。

它属于 Pocket TTS 谱系，所以我们先把 Pocket TTS 加进了 Transformers。Phonon 作为模块化模型叠加在其上：大约 200 行代码，只描述不同之处。

（原文较长，此处译出前 6000 字，完整内容请点「打开原文」。）