开发者用冷门音频编解码器让 N64 实现接近 Opus 码率的立体声
来源标题:Obscure audio codec is a perfect fit for the N64
开发者 Dominic Szablewski 发现一种冷门音频编解码器非常适合 N64,可在 44100 Hz 立体声下达到接近 Opus 的码率,且仅占用约 4% 的 CPU 时间。N64 卡带空间宝贵、CPU 仅 93 MHz,且任天堂长期禁止第三方直接使用 RSP 向量协处理器。此前 Libultra 提供的 ADPCM 方案只能将采样所需空间压缩至四分之一。
以下正文由 AI 翻译自 Hacker News(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
博客 游戏 项目 Dominic Szablewski,@phoboslab —— 2026年11月3日,星期二 为什么这款冷门音频编解码器恰好适合 N64 抱歉用了标题党。我保证这篇内容对得起标题:44100 Hz 立体声,比特率接近 Opus,而只占用 N64 约 4% 的 CPU 时间。 不过先说点历史:当年在 N64 上播放和存储音频数据的选择实在少得可怜。 PlayStation 可以直接从 CD 流式播放未压缩的红皮书音频。而在 N64 上,卡带空间极其宝贵,93 MHz CPU 的时间也很有限。 更糟的是,任天堂在很长一段时间里都严密把关,不允许开发者直接访问向量协处理器 RSP。任天堂自家的平台库 Libultra 内部会用 RSP 完成各种图形和声音相关的任务,但任天堂不允许第三方开发者直接为它编写代码。 Libultra 提供了一些函数,可以用 ADPCM(自适应差分脉冲编码调制)方案透明地播放压缩音频。RSP 会在音频送入输出缓冲区之前实时完成解压。 这套方案效果尚可,能把一个采样所需的空间压缩到原来的四分之一。即便如此,一段 44100 Hz 的 5 分钟立体声音轨仍要占约 12MB——对 N64 卡带来说还是太多了,哪怕把采样率减半也一样。整个《超级马力欧 64》的 ROM 总共才 8MB。最大的 N64 游戏也只有 64MB。 所以 N64 游戏制作音乐的方式更像 tracker:在合适的时机调度并播放短采样,附带一些有限的效果。在卡带空间的限制下,完全“录制”好的音频基本不可能。 到了 N64 生命周期的后期,任天堂允许少数受眷顾的开发者直接访问 RSP。最著名的是《松鼠库克倒霉的一天》(Conker's Bad Fur Day),它借此解压 MP3 音频,用来播放游戏中大量的语音采样。解码 MP3 开销相当大,游戏的帧率因此受到了影响。对于过场动画来说还够用,但要用于游戏过程中的连续背景音乐或音效就太重了。 与任天堂的 Libultra 类似,开源替代方案 Libdragon 也有一个运行在 RSP 上的实时 ADPCM 解码器。如今 ROM 空间便宜了,我就把《Xibalba 64》的所有音乐都用 ADPCM 压缩了。32MB 的 ROM 中约有 31MB 用于声音和音乐。别忘了《超级马力欧 64》只用了 8MB 的 ROM,而《Xibalba 64》是个简单得多的游戏,只有 15 分钟的音乐。这样确实能用,但用这种方式存储音乐是对空间的极大浪费。 现在,Libdragon 也有了实时、RSP 加速的 Opus 解码器。这本身就是个奇迹。Opus 格式比 N64 晚问世 16 年,而 Giovanni Bajo 却设法让它在这样“过时”的硬件上跑了起来。压缩率和音质都很出色,但同样——它太慢了,没法在游戏过程中使用。 那替代方案是什么?我们可以做一个 RSP 加速的 MP3 解码器,但相比 Opus 的性能提升很有限,而且音质和压缩率都会更差。 QOA 相比 ADPCM 会略有改进,但它实在不适合向量协处理器:每个采样都依赖前一个已解码的采样,很难向量化。 一个简单的变换编解码器,类似 MP3,但没有那些委员会设计留下的包袱,也许可行…… 在某次深夜“研究”中,我偶然发现了一个古老的 Game Boy Advance 演示,它能以仅 70kbps 的码率播放录制的音乐。这比典型的 MP3 码率还低,音质却相当。我再说一遍:在 GBA 上。16 MHz 的 ARM CPU。没有向量指令,而且根据 GitHub 页面所说,还留有一些余量。 时域编解码器(如 ADPCM)要达到这种音质需要显著更高的比特率。子带编解码器(如 MP2)在相近比特率下音质差得多,而更“现代”的变换编解码器(如 MP3)通常至少需要 80–100 MHz 的 CPU。对于这个 GBA 演示来说,没有任何现成的编解码器能满足要求。 于是 Aikku93 不仅用 ARM 汇编写了一个解码器,还创造了一个全新的编解码器:超低复杂度编解码器(Ultra Low Complexity Codec,ULC)。 ULC 是一种变换编解码器,和 MP3 有些相似。ULC 把一段段 PCM 数据变换到频域。和 MP3 一样,它使用改进离散余弦变换(MDCT)来完成这一变换。但与 MP3 不同,它不把信号拆分成多个频带(ULC 的 MDCT 是“全带”的)。MP3 使用经典的熵编码(具体来说是 Huffman),ULC 则不然。取而代之的是,变换后的系数用一种非常简单的、基于半字节(nibble)的语法来存储。 简而言之:ULC 就是 MP3 本可以成为的样子。同样的核心思想,但没有周围那些冗余的累赘。“超低复杂度”并非来自不同的算法,而是来自精心的应用和封装。 基于半字节的封装也许是 ULC 最优雅的想法。每个系数只用 4 位存储,按有符号整数解释。其中一些值被保留,用来表示零填充、噪声填充或量化器切换: 一切都按半字节对齐。这意味着整个编解码器工作时不需要任何任意的位读取或熵解码。读取并解包一个系数块只需约 150 行 C 代码。 还要注意,噪声填充是一个很有价值的补充。镲片、踩镲和军鼓都能从中大大受益。MP3 没有类似的东西,只能把准随机系数原样编码。 ULC 即使在 16kbps 下也能产生可用的结果。音质当然会下降,但对某些应用来说可能仍然够用。 Aikku93 从 2019 年起就一直在开发 ULC,并稳步提升了编码质量。所有代码都采用宽松许可证。那么,是时候在 N64 上试试了! 在前 LLM 时代,我花了一个晚上为 N64 编译 ULC 参考解码器,并做了一个小演示。它毫无障碍地跑了起来。 唯一的问题是:它让 CPU 非常忙碌。没有任何东西被卸载到 RSP。作为概念验证,它做的事并不多:我们已经知道 93 MHz 的 CPU 足以解码基于变换的编解码器,但我们需要的不是一个“音乐播放器”
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。