点赞 9 关注 Blue Rose labs 3 文本转语音 PyTorch Safetensors 英语 tts 语音克隆 情感语音 流式 端侧 许可证：cc-by-4.0 模型卡片 文件 文件与版本 xet 社区 1 复制到存储桶 Silencio-2 标签 快速开始 示例 模型详情 制作方法 局限性 负责任使用 文件 许可证 引用 Silencio-2 小型英语文本转语音模型，支持情感、音效和语音克隆。 Silencio-2 能将英语文本转换为 24 kHz 语音，可使用任意音色，只需几秒参考音频即可。 你可以直接在文本中控制它：在需要叹气的地方放 [sigh]，在表达方式改变的地方放 <whisper>。 在 Apple M4 的四个 CPU 线程上，它的运行速度约为实时的 20 倍，全部权重都装在一个 112 MB 的文件里。 tts.generate("What a long day. [sigh]") tts.generate("<whisper> Keep your voice down.") Silencio-2 是基于 Kyutai 的 Pocket TTS 18M 进行微调的，在 自定义数据集上重新训练以支持标签。它有自己的推理包 silencio2，因此无需 pip install pocket-tts。 标签 音效，放在其发生的位置 情感，作用于其后的文本 [laugh] [sigh] [gasp] [cough] [clear_throat] <happy> <sad> <angry> <fear> <surprised> <whisper> 遇到未知标签会报错，而不是把它读出来。 快速开始 pip install -r requirements.txt 从仓库的克隆目录中运行，或将 snapshot 文件夹添加到 sys.path： from silencio2 import Silencio2TTS tts = Silencio2TTS.from_pretrained() # 或本地文件夹；在 CPU 上使用 int8 时加上 quantize=True

内置音色

tts.save("hello.wav", "Hi, I'm Silencio.", voice="260")

音效直接写进文本

tts.save("sigh.wav", "What a long day. [sigh]")

为整段文本指定一种情感，或在其中指定多种：每种情感持续到下一个为止

tts.save("happy.wav", "We did it, we actually won!", emotion="happy") tts.save("mixed.wav", "<whisper> Keep your voice down. <angry> I said stop!")

用一段简短干净的音频克隆任意音色

tts.save("clone.wav", "Hi! This is my voice.", voice="my_clip.wav")

流式输出：以 tts.sample_rate 返回 float32 数据块

for chunk in tts.stream("A longer text, played as it is generated."): ... wav = tts.generate("The same line, the same take.", seed=7) # 一维 float32 张量 generate 会把轻声片段提升到正常语音电平，因为真正的耳语比正常语音轻约十倍。 传入 normalize=False 可保留原始电平。stream 不会改变电平。 内置音色：1320、2094、260、3575、5639、6930、7127、7729（tts.voices）。 示例 文本 音频 Hi, I'm Silencio. hi.wav What a long day. [sigh] long_day_sigh.wav <whisper> Keep your voice down. whisper.wav Hi! This is my voice.（音色 7729） cloned_voice.wav [sigh] Finally... a voice that breathes. finally_sigh.wav 模型详情 模型类型：一种基于流的语言模型，根据文本和音色提示预测 Mimi 编解码器的潜变量，每帧一步。 规模：model.safetensors 中共 27.9M 参数：其中 18.2M 用于生成语音，其余是语音克隆所需的 Mimi 编码器。 音频：24 kHz 单声道，生成时流式输出。 语言：英语。 文本：一个 sentencepiece 分词器，额外增加 11 个 token，每个标签对应一个。 制作方法 我们在 Pocket TTS 18M 的分词器和文本表中加入了标签 token，然后用 Kyutai 的训练代码在自定义数据集上 微调模型。五分之一的训练文本中被移除了标签，而带标签片段的音色提示往往是同一音色的中性版本， 这样表达方式就由标签而非提示决定。最后的蒸馏阶段将无分类器引导固化到权重中，因此推理时每帧只需一次前向。 局限性 表达方式每次生成都会变化：多试几个种子。同一个标签可能在某次生成中很强，在另一次中很弱。 <whisper> 是最不稳定的标签。它在短句上效果最好，并且因音色而异。 重要的句子要亲耳检查。 仅支持英语。 负责任使用 克隆音色必须获得其所有者许可。不要使用 Silencio-2 冒充他人或进行欺骗。在听众可能误以为真人的场合，应说明语音为合成。 文件 文件 说明 model.safetensors 权重 tokenizer.model 带标签 token 的分词器 config.yaml 模型配置 silencio2/ 推理包；silencio2/core 改编自 Pocket TTS voices/ 内置音色的参考音频 samples/ 上方的示例 NOTICE.md 第三方声明 许可证 权重以 CC-BY-4.0 发布，即 Pocket TTS 的许可证。silencio2/core 中的代码为 MIT。详见 NOTICE.md。 引用 title = {Silencio-2: Small English Text-to-Speech with Emotions, Sounds and Voice Cloning}, author = {{BlueRose Labs}}, year = {2026}, url = {https://huggingface.co/BlueRoseLabs/Silencio-2} 上月下载量 59 Safetensors 模型规模 27.9M 参数 张量类型 F32 · 文件信息 推理提供商 新 文本转语音 该模型未由任何推理提供商部署。🙋 请求提供商支持 BlueRoseLabs/Silencio-2 的模型树 基础模型