Liquid AI发布74M参数流式音频编解码器LiquidCodec

Liquid AI 发布了 LiquidCodec，这是其 LFM3-Audio-2B 和 LFM3-Omni-2B 模型背后的音频编解码器。LiquidCodec 音频编解码器是一个约 74M 参数的流式语音分词器。它将语音转换为语言模型可以预测的 token，然后再将这些 token 转换回音频。Liquid AI 有两个目标：易于预测的 token 和快速转换回语音。权重已发布在 Hugging Face 上。

TL;DR

• 规模：约 74M 参数（模型卡上为 73.6M）；24 kHz 音频，12.5 Hz 帧率，12 个码本。
• 运行环境：单个 CPU 线程（在 Apple M4 Max 笔记本上以 FP32 测试）；通过 Transformers 在 CUDA GPU 上运行；为 llama.cpp 提供 Q4_0、Q4_K_M 和 Q8_0 GGUF 构建。
• 性能：在所有 8 个测试集上，ViSQOL 最佳、mel 距离最低，优于 X-Codec 2、NanoCodec 和 Mimi。
• 最佳表现：在 1 个 CPU 线程上编码速度约为实时的 361 倍（编码 RTF 0.0028，而 Mimi 为 0.0361）。

什么是 LiquidCodec？

LiquidCodec 是 Liquid AI 的语音编解码器，可将 24 kHz 音频压缩为 12 个 token 流。根据 LFM3-Audio-2B 模型卡，每个 80 ms 帧变为 12 个离散 token。它取代了 Kyutai 的 Mimi，后者是 Liquid AI 在 LFM2-Audio-1.5B 中使用的编解码器。Mimi 有 96.2M 参数。

LiquidCodec 如何工作？

流程是编码、量化、解码。Liquid AI 在编码器和解码器中都使用了其 LFM3 架构的模块。两半是对称的，编码器完全因果，适合流式处理。 量化使用分组有限标量量化（GFSQ）而非残差向量量化（RVQ）。在 RVQ 中，每个码本编码前一个码本遗漏的内容。GFSQ 的组是独立的，因此所有 12 个码本可以由 MaskGIT 风格的 transformer 并行预测。 解码器直接预测频谱系数。这避免了学习到的转置卷积上采样，这是波形解码器中常见的开销。

它是如何训练的？

训练分两个阶段进行。阶段 1 使用了 264,000 小时的语音，涵盖 107 种语言。它应用了波形和频谱损失，没有对抗损失。阶段 2 在 55,000 小时的全频带语音（24 kHz 或更高）上使用对抗判别器进行微调。Liquid AI 表示这消除了阶段 1 后留下的金属伪影。最后的仅解码器量化感知训练（QAT）步骤针对边缘推理。

LiquidCodec 有多快？

Liquid AI 在 Apple M4 Max MacBook Pro 的 1 个 CPU 线程上以 FP32 测量了速度。LiquidCodec 的编码速度约为实时的 361 倍，解码速度约为实时的 87 倍。这些是自报数据。 实时因子（RTF）是处理时间除以音频长度，因此越低越好。LiquidCodec 的编码 RTF 为 0.0028，而 Mimi 为 0.0361，NanoCodec 为 0.2145，X-Codec 2 为 0.7359。解码 RTF 为 0.0115，而后者分别为 0.0329、0.2543 和 0.0379。这意味着编码 RTF 比 Mimi 低约 13 倍，解码 RTF 低 2.9 倍。

LiquidCodec 在质量基准上表现如何？

Liquid AI 使用了 8 个测试集。这些是 LibriSpeech test-clean、Seed-TTS 英语和普通话，以及 5 种 FLEURS 语言（德语、法语、普通话、日语、韩语）。基线是 12 个码本下的 X-Codec 2、NanoCodec 和 Mimi。

• 重建：LiquidCodec 在所有 8 个集上具有最佳的 ViSQOL 和最低的 mel 距离。在 LibriSpeech 上，ViSQOL 为 4.319，而 NanoCodec 为 4.219，X-Codec 2 为 4.119，Mimi 为 4.031。
• 文本转语音：Liquid AI 在每个编解码器的 token 上训练了相同的 TTS 模型。数据（101,000 小时，6 种语言）、架构、计算和批次顺序固定。LiquidCodec 在所有 8 个集上获得了最高的 UTMOSv2，并在 8 个中的 4 个上获得了最佳的 WER/CER。LibriSpeech WER 为 3.15%，而 Mimi 为 6.27%。结果在 Qwen3-1.7B 和 LFM3-1.7B 骨干上均成立。
• 落后之处：NanoCodec 在 8 个集上的 7 个中获得了更高的 PESQ（WB）。它还在 LibriSpeech 说话人相似度上领先（SECS 0.836 对 0.785）。

LiquidCodec vs Mimi vs NanoCodec vs X-Codec 2

特性LiquidCodecMimiNanoCodec 1.78 kbpsX-Codec 2 开发者Liquid AIKyutaiNVIDIAHKUST Audio 参数73.6M96.2M62M0.8B 采样率24 kHz24 kHz（仓库）22.05 kHz16 kHz 帧率12.5 Hz12.5 Hz12.5 fps50 tokens/s 码本128（博客中为 1.1 kbps）131（文档） 量化器GFSQRVQ（文档）FSQ单层 FSQ（文档） 比特率未披露1.1 kbps1.78 kbps未披露 因果性因果编码器；解码器未披露完全因果（Kyutai）非因果编码器，因果解码器未披露 许可证HF 上为“other”；博客链接到 LFM LicenseCC-BY 4.0NVIDIA Open Model LicenseCC-BY-NC 4.0 编码 / 解码 RTF，M4 Max CPU0.0028 / 0.01150.0361 / 0.03290.2145 / 0.25430.7359 / 0.0379 LibriSpeech mel 距离（越低越好）0.1200.1600.1220.123 LibriSpeech PESQ（WB）2.6402.6152.9422.434 LibriSpeech TTS UTMOSv23.312.893.193.27 *由 Liquid AI 在其 LiquidCodec 博客中测量。Mimi 在 12 个码本下测量。

开发者如何部署 LiquidCodec？

该编解码器通过 Hugging Face Transformers 加载，使用 trust_remote_code=True。调用 encode() 获取音频编码，调用 decode() 获取波形。根据模型卡，原生 LiquidCodecStreamingCache 支持逐块解码。模型卡的示例使用 CUDA 和 bfloat16。 对于边缘使用，Liquid AI 列出了用于 llama.cpp 的 Q4_0、Q4_K_M 和 Q8_0 GGUF 构建。GGUF 仓库随 LFM3-Audio-2B 和 LFM3-Omni-2B 一起提供。Q4_0 配合仅解码器 QAT 将解码器占用缩小 3.5 倍。LibriSpeech ViSQOL 仅从 4.319 降至 4.292。

关键要点

• 约 74M 参数的流式编解码器，12.5 Hz，12 个码本，24 kHz。
• 在 1 个 CPU 线程上编码约 361 倍实时，解码约 87 倍实时。
• 在所有 8 个测试集上具有最佳 ViSQOL、mel 距离和 TTS UTMOSv2。
• NanoCodec 仍在 8 个集上的 7 个中赢得 PESQ（WB）。
• Q4_0 解码器缩小 3.5 倍，质量损失极小。 查看技术博客、Hugging Face 上的模型权重，以及 LFM3-Audio-2B 和 LFM3-Omni-2B。也欢迎在 Twitter 上关注我们，别忘了加入我们 150k+ 的 ML SubReddit 并订阅我们的 Newsletter。等等！你在 Telegram 上吗？现在你也可以在 Telegram 上加入我们。 需要与我们合作推广您的 GitHub 仓库或 Hugging Face 页面或产品发布或网络研讨会等？联系我们

（原文较长，此处译出前 6000 字，完整内容请点「打开原文」。）