开发者用 Rust 写音频引擎 Sonic,测试游戏音频引擎能跳过多少工作
来源标题:10k sounds, 64 mixer slots: how much work can a game audio engine skip?
开发者用 Rust 构建了小型音频引擎 Sonic,测试在 1 万个声音、64 个混音槽的场景下能否不逐帧处理每个声音而保持虚拟声源行为。测试在 48 kHz 下每 5.333 ms 需生成 256 帧,所有声音读取同一段预计算 2048 帧单声道波形,不涉及文件 I/O、解码、混响、遮挡、声像或 Doppler。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
一万个声音、64 个混音槽:游戏音频引擎能省掉多少活?
假设一个 RPG 战场上有 10,000 个声音,而混音器只有 64 个槽位。剩下的 9,936 个会怎样?
脚步声可能还没等人走近就结束了。发电机则不同。如果我一秒后走过去,我希望听到的是一台已经在运转的发电机,而不是因为我的到来才启动的发电机。
所以我用 Rust 写了一个小型引擎 Sonic,想看看能不能不逐个 tick 每个声音就做到这一点。FMOD 和 Wwise 已经有虚拟声部(virtual voice)了。我想知道的是,我究竟能少做多少活,以及当我省掉的活一下子全回来时会发生什么。
在 48 kHz 下,混音器每 5.333 ms 就要再生成 256 帧。这是块与块之间的时间,不一定是操作系统留给我的时间。如果线程唤醒晚了,这段时间已经被消耗掉一部分了。
我并没有搭一个像样的战场。所有声音都以正常速度从同一段预先算好的 2,048 帧单声道波形读取,只是相位不同。大多数声音循环播放,这样我可以保持声部数量恒定;有一个测试用的是会结束的声音。没有文件 I/O、解码、混响、遮挡、声像或 Doppler。我想测的是调度器,不是编解码器。
第一版做的是最直白的事:算出每个声音有多响,然后把它的采样加起来,即使增益为零也照做。10,000 个声音时,每个完整块要处理 2,560,000 个源采样。只有 64 个声部时,最多 16,384 个。我本可以跳过零增益的声音,但要是所有人都站在我旁边呢?那就是后面的崩溃测试。
我保留排名最高的 64 个声音,丢掉其余。评分是整数距离衰减乘以基础优先级,另有一个可选的焦点加成。同分时按稳定的 ID 排序。堆把排名最低的胜出者放在顶部,所以大多数新候选只需要一次比较。如果一个排名更高的声音挤掉了一个我本来还能听到的声音,那就算一次抢占(steal)。超出范围或结束不算。
这个方案快,部分原因是它忘掉了我仍然需要的东西。传送到发电机旁边,结果没东西可播。我可以重新启动它,但现在听起来就像它刚刚才打开。还有一秒前的那个脚步声?我大概根本不想让它重新开始。
两个营地同时启动各自的发电机。你在 A 营地。B 营地太远,听不到。
发电机 B 太远,所以游戏丢弃了它的声音。
游戏保存了发电机 B 的启动时间。此时还不播放它的音频。
这个示例展示的是你会听到的效果。它不播放音频。
在 B 营地,第一种做法没东西可播。第二种则从它如果一直播放本该到达的位置接着播循环。
两个虚拟调度器选出的声音相同。Eager 检查每个活跃源;lazy 只检查附近的网格单元。计数来自浏览器模型,不是音频回放或 Rust 的计时。
我把“这个声音存在”和“混音器正在读取它的采样”拆开了。前者是一条记录,包含开始、结束和一个发声器定义。后者是那 64 个槽位之一。没有槽位的声音就是虚拟声部。
我的第一版仍然在每个块上推进每个播放位置。连地图另一头的发电机也不例外。这感觉很浪费,但它给了我一个可以对照的版本:同样的排名、同样的混音器,只是用最直白的方式计时。
我在混音前对选中的 ID 排序。浮点加法依赖顺序,我不想让一个舍入差异看起来像调度器坏了。测试(tests/observable.rs)在六个场景里逐位比对实际采样,比较声部切换,并检查两个渲染器都不会调用分配器。另一个测试把一个循环隐藏 8,192 帧。当它回来时,我把它和一个一直在播放的循环比较。固定池给我的是一片静音。
我说“相同的输出”,指的是和那个 eager 虚拟渲染器相同。不是把全部 10,000 个声音混在一起。而且一次性声音可能在从未被听到的情况下就过期了,但 Sonic 不会告诉游戏它已经结束。这个实验里没有通知 API。
如果声音以正常速度播放,它的播放位置就是“现在减去它开始的时间”,以采样帧计。它在安静的时候我不需要对它做任何事。混音器(src/lib.rs)使用第一个真正与本块重叠的帧:
let first = self.frame.max(v.start); let stop = end.min(v.end); let cursor = if self.mode == Mode::Lazy { first - v.start } else { v.cursor };
区间是半开的:[first, stop)。一个在块内第 37 帧开始的声音,在第 37 帧之前不贡献任何东西,即使块调度器已经选中了它。如果投递晚了,Sonic 会跳到已经过去的位置,而不是把迟到当作新的开始。监听者位置和焦点变化是块级的。一次 top-K 选择管辖整个块:一个靠近块末尾的高优先级开始可以在还没发出任何声音之前就占一个槽位,而一个在块中间结束的短声音要等到下一次决策才释放槽位。采样精确的剪辑时间不等于采样精确的调度。
有 N 个活跃声部、C 个候选、K 个混音槽、堆中 F 个有限声部、E 个到期过期时,eager 除了给全部 N 个排名外,还要做线性过期扫描和游标扫描。Lazy 在最坏情况下对这些候选的调度工作量大致是 O(cells + C log K + K log K + E log F),再加上入口开销(每个有限开始 O(log F))和有界混音。在两种渲染器里,许多候选从不修改选择堆。网格改变的是 C,不是它的最坏情况上界;C 可以等于 N。内存开销仍然是线性的:减少的是访问次数,不是世界状态。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。