
Sopro V2 发布并开源最快模型 sopro-v2-turbo,可在设备端运行
来源标题:Sopro V2: private, fast, on-device text-to-speech
Sopro V2 语音克隆 TTS 模型家族发布,其中最快的 sopro-v2-turbo 已开源。该模型仅 120M 参数,支持流式生成,可在笔记本 CPU 或浏览器中运行,支持英、德、法及欧洲葡萄牙语。在 Apple M3 CPU 上离线 RTF 为 0.24,流式首音频延迟约 300 毫秒。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
新模型 · 2026年8月27日 · 阅读时长13分钟 一族新的SOTA语音克隆TTS模型,以及sopro-v2-turbo:一个120M参数的开源多语言模型,支持流式输出、可在设备端运行,并原生支持欧洲葡萄牙语。 今天我们推出一个名为Sopro V2的新TTS模型家族,并开源其中最快的模型:sopro-v2-turbo。Sopro V2 Turbo是一个120M参数的语音克隆文本转语音模型,支持流式输出,能在笔记本CPU或浏览器中流畅运行,并且是多语言的:英语、德语、法语,而且对我们更重要的是,据我们所知,它是首个原生面向欧洲葡萄牙语的开源TTS模型。
它也的确很快。在Apple M3 CPU上,sopro-v2-turbo离线生成时的实时因子(RTF,生成时间除以音频时长)为0.24,流式输出时首个音频到达时间约为300毫秒,RTF为0.21。在单张H100上,离线RTF达到0.07,流式输出时首个音频约200毫秒。所有数字均为单流PyTorch、默认设置、无批处理。
Sopro的目标是尽可能简单易用。一条命令即可启动本地演示: uvx --from sopro soprotts serve 还有一个完全在浏览器内运行的ONNX演示,无需任何服务器;请注意,在移动端模型会被量化,因此结果可能略低于上述演示,内存较低的设备可能会崩溃。 其他细节请参阅仓库README。
Sopro始于2025年12月的一个个人项目,是在我联合创办的初创公司Halo NeuroAI休假两周期间做出来的。Halo是一家软硬件公司,主要目标是让因ALS或中风后失语症等疾病而失去声音的人重新获得声音。我们提供(现在仍然提供)多家语音克隆服务商:OpenAI、Cartesia、ElevenLabs。反复出现的问题是,欧洲葡萄牙语在这些服务商上听起来都不对,主要原因是巴西葡萄牙语数据偏差,而我们为补偿所构建的变通方案大幅增加了延迟,尤其是在当时我们质量最好的服务商OpenAI上,生成一句话需要4到6秒。对我们来说这是不可接受的:我们希望人们能像以前一样快速地交流。ElevenLabs此后有所改进,Cartesia是三者中最快的,因为流式输出大幅缩短了首个音频到达时间,但它的欧洲葡萄牙语发音仍然不到位。而这还没有谈到隐私或价格。
所以我一直有兴趣探索现有模型,并在空闲时间训练自己的模型。预算限制或多或少迫使我采用一个非常小的模型,事后看来这是件好事:它让我意识到存在一个缺口,而且这个缺口此后一直在缩小,那就是优秀、本地、快速的TTS。Sopro V1曾登上一些头条,在Hacker News上达到第2名,几位有影响力的人联系了我们。但V1存在真正的问题:它不稳定,克隆质量在不同声音之间不一致,而且没有经过严格的消融实验和评估;毕竟它只花了250美元训练。它还只支持英语,所以甚至没有解决最初引发这一切的问题。然而,它足以引起关注并最终获得算力。我们仍处于pre-funding阶段,所以算力不是我们能买得起的。我们在FCCN-FCT的合作伙伴及时伸出援手,先是葡萄牙的超级计算机Deucalion,后来是MareNostrum 5。我们非常感谢他们:他们让下面的研究和结果成为可能。
Sopro V2是从我们随时间进行的消融实验中自然演化而来的。起点是Sopro V1,其架构当时接近Sesame的CSM:以Mimi作为编解码器,一个自回归卷积模型预测语义码(Mimi的codebook 0),以及一个非自回归头分阶段预测其余声学codebook,并通过交叉注意力关注参考码、通过FiLM注入说话人特征。在V2的开发过程中,这些组件中的每一个都被替换或改进。
我们替换的第一个组件是Llama文本分词器及其128k词表。在384维嵌入表下,128k条目约为49M参数,所以Sopro V1实际上是一个约85M参数的模型,而不是宣传中的数字。对于V2,我们训练了一个8,192 token的SentencePiece unigram分词器:我们保留了一定的压缩率,又不必为巨大的词表付出代价。
第二个变化是用transformer解码器替换卷积基座模型。卷积模型视野太窄,会导致重复,而在我们处理的句子长度下,配合KV cache,注意力机制的成本很低。我们保持简单:一个带RoPE、RMSNorm和分组查询注意力的解码器。
与CosyVoice风格的模型不同,我们不要求提供参考音频的转录文本:语义LM的提示只是参考的语义token加上一些风格token。这消除了推理时对ASR的依赖,这在边缘设备上很重要,而且在发音或相似度上没有可听出的差异。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。