返回资讯中心
外部精选
软件工程
#开发者实时流

开源音频转MIDI模型Dettato发布:参数仅20M,性能超越MuScriptor 1.3B

来源标题:Show HN: I made an audio-to-MIDI model 60x more efficient

开发者发布开源音频转MIDI模型Dettato,在各项测试集上均超过参数量大65倍的MuScriptor 1.3B。该模型仅20M参数,训练过程未使用任何受版权保护的录音,且允许商业使用其输出。开发者提醒其在乐器分离方面表现较弱,输出为对齐节拍演奏MIDI而非乐谱。

Hacker News 最新hidude5622026/11/17 · 昨天7 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

我们推出 Dettato,这是一个达到 SOTA 水平的音频转 MIDI 转录模型,显著优于 MuScriptor 1.3B——目前第二好的开源模型——并在其公布的基准测试中略高于 mirelo 的闭源模型“Mirelo A2M v1.1 Pro”。而这一切仅仅用了 2000 万参数——大约比 muscriptor 小 65 倍。此外,在训练该模型时,我们完全没有使用任何受版权保护的录音。该模型是开源的,你可以将其输出用于商业用途。

关于基准测试的免责声明:如果不亲自试用,很难判断该模型在你的使用场景下的真实准确度。例如,我的模型表现较差的一个方面是正确分离乐器。此外,它只输出对齐到节拍的音乐表演 MIDI。如果你需要的是真正可以演奏的内容(例如乐谱),我推荐 songscription 或 klangio——这两款都是优秀工具,来自不断推动该领域可能边界的优秀公司。

0:00 / 0:00录音dettato

sousa,《星条旗 forever》:“总统自己的”美国海军陆战队乐队,选自《约翰·菲利普·苏萨进行曲全集》第 3 卷。美国政府录音,公共领域。下载 MIDI

上传你自己的示例(或从下方选择一个演示) 运行音频转 MIDI

kobimusic 的核心目标是帮助音乐人,而不是取代他们。这一目标的一部分意味着遵守版权法。我们在合成乐器录音和使用 URMP 数据集混入的 CC 独奏乐器的混合数据上训练了 dettato。其余乐器使用我发表的“soundfont babies”技术,将大约 20 个 soundfont 混合在一起。没有使用任何受版权保护的录音。

我大约 10 个月前开始研究 dettato,但在 4 月左右废弃了已有的成果。原因是我把 AMT 当作一个数据问题来对待——但实际上,瓶颈在于架构。你可以为 OMR(我制作的第一个模型)和 AMT 找到很多相似之处。两者传统上在早期都是通过算法来解决的。后来,在这两个领域中,人们都接入了巨大的 LLM 组件。这些模型自然会过拟合到合成数据,因为从全局来看,AMT 和 OMR 的问题变得不同于你从局部处理时的情况。但是,对于两者,你都可以将其重新表述为局部问题。对于 OMR,使用检测器模型。对于 AMT,使用音高车道模型。

总的来说,我希望开源和闭源的音乐检索公司都能从中学习。不使用受版权保护录音的约束不会阻碍你,反而会鼓励创新,而且最终你很可能得到一个更好的模型。

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →