返回资讯中心
外部精选
软件工程
#开发者实时流

SheetVideo 测试乐谱与录音自动同步,中位误差 7.9 毫秒

来源标题:How close does score-to-audio sync land? 16 piano recordings, measured

SheetVideo 通过聆听录音自动对齐乐谱,无需打拍或节拍器;在 16 段公版钢琴录音上测试,14 段可测录音的中位同步误差为 7.9 毫秒,81% 的音符误差在一帧(30fps)以内。其起音检测方法自身中位误差为 4.9 毫秒。另有 3 段录音的演奏顺序与乐谱不同,同步算法自行找出了实际演奏顺序。

Hacker News 最新draganzivkovic2026/11/3 · 14 天前28 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

SheetVideo 通过对录音的“聆听”来把乐谱与录音对齐:不用打拍子、不用节拍器、不用标记点。下面说明它是怎么做到的,以及在 16 份公有领域钢琴录音(总长 60 分钟、1,448 小节)上,对齐精度能到什么程度——这些录音来自不同钢琴家,曲目从巴赫到 Joplin,逐个音符地对照录音本身进行测量。

在 14 份可以测量音头(attack)的录音中,对齐后音符位置与我们在录音中检测到的音头之间的中位偏差是 7.9 ms;81% 的音符落在 30 fps 视频的一帧以内,90% 落在两帧以内。我们检测音头的方法本身在已知真值时的中位误差就有 4.9 ms(见第 4 节),所以这部分离散度中有一部分来自“尺子”,而不是对齐本身。有 3 份录音里钢琴家并未按乐谱文件所写的方式演奏(反复段落被省略或跳过);对齐算法会自行找出他们实际演奏的顺序。

这里每一份录音都属于公有领域或 CC0(来自 Wikimedia Commons,多数来自 Musopen),每一份乐谱都是 Mutopia Project 的版本,以 MIDI 形式读取,就像有人会把它导入 SheetVideo 那样:除《夜曲》为 CC BY-SA 3.0 外,其余均为公有领域。我们选材时注重覆盖面:慢速与快速、稀疏与密集、一份 1902 年的钢琴卷帘录音、一首十二分钟的叙事曲,以及三首录音不遵循乐谱反复段落的作品。

  • 录音重复或跳过了某些段落:小节数按实际演奏的乐谱计。速度范围:每一小节的速度相对于文件所给速度的第 5 到第 95 百分位。

录音以 22.05 kHz 读取,切成相隔 23 ms 的重叠帧(4096 采样窗口,因此低音仍能分辨到半音)。每一帧转成两个短向量:一个是 chroma 向量,即十二个音级各自的能量;另一个是 onset 向量,即哪些音级刚刚变响,另加一个通道表示宽带击打。乐谱不会为对齐而渲染成音频:同样的两个向量直接由音符写出,因此结果不依赖合成器恰好发出什么样的声音。

对于乐谱帧 i 和录音帧 j,设 chroma 向量为 xi、yj,onset 方向为 oi、pj,onset 强度为 ai、bj:

其中 α=0.4:和声要计入,某一时刻是击发了音符还是仅余音未消也要计入。两个向量都是单位长度,因此完全匹配的代价为 0,毫无共同之处约为 1。

对齐是在这些代价构成的矩阵中找一条单调路径(图 3),从乐谱第一个音符到最后一个音符,用动态规划求解。一段录音包含的内容多于乐谱:静默、换气、第一个和弦前有人说话、提前结束的录音。我们不让路径免费地在任意位置开始和结束,而是对路径未解释的每一帧录音按一个费率 κ 收费,κ 是本曲目一个已匹配帧的典型代价。设 U 为路径遗漏的录音发声帧数,B 为其弯曲步数,则一条路径的总代价为

总代价不按路径长度归一化,因此一条在缓慢结尾前提前停止的路径不会因为覆盖更少而显得更好。弯曲步(乐谱以录音速度的两倍或三倍前进,或反之)收费 βκ,这样路径会跟随它已找到的速度,而不是游走到局部最匹配的和弦上。

一首四分钟的曲子构成的矩阵约有 10^8 个单元,直接搜索太多。对齐先以粗分辨率拟合一条直线(全局速度和偏移),在其周围搜索一个允许 35% 累积自由速度(rubato)的带,然后只在粗路径周围的窄管中以完整的 23 ms 分辨率细化。之后再用第一遍找到的速度曲线重新排布乐谱,做第二遍,这样长渐慢就成为排布的一部分,步进收费只落在音符级时序上。

乐谱按文件所写、以其所写速度 →录音 →图 3. 《异国与异乡人》(舒曼)。乐谱按文件所写(从左到右,以其所写速度)对录音(从下到上)的代价矩阵;一致处发亮。路径即对齐结果,逐小节推进。钢琴家把两段反复都弹了,因此路径经过前八小节后跳回(虚线)再弹一遍,继续到结尾,然后跳回第 9 小节,再弹一遍后半段。

2.5 当钢琴家未按乐谱所写演奏时

MIDI 文件没有反复记号,所以一首小步舞曲或圆舞曲只写一遍,演奏时带反复;而把反复写出来的文件,会遇到省略了某些反复的钢琴家。在精细遍之前,对齐用一遍粗搜索(约每秒 4 帧)找出小节的演奏顺序,其中路径也可以在小节线处跳到任意其他小节的开头,向前或向后(参照 Fremerey、Müller 和 Clausen 的 JumpDTW):

其中 sa 是小节 a 的第一帧,eb 是小节 b 的最后一帧,J 是一次跳转的代价:相当于三秒钟未解释的录音。乐谱缺少的反复,跳回去弹比留着不解释更便宜;只是与别处相似的小节,走过去更便宜。只有当这样比照乐谱直通演奏省下超过一次跳转的代价时,才保留该顺序;否则乐谱保持原样。十六份录音中有三份返回了不同的顺序(表 1),而它们正是那三份不遵循其文件的:舒曼的两段反复都弹了;《梦幻曲》只弹了第一段反复;还有一份 1902 年的《演艺人》钢琴卷帘录音,按对齐的解读,它省略了最后两个段落,从第一段的回归直接跳到最后一小节。对齐完成后编辑器会说明这一点(图 4)。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →