返回资讯中心
外部精选
软件工程
#开发者实时流

ElevenLabs 发布 Cue 对齐模型,可为音频中每个字符定位精确时间点

来源标题:How your transcript knows where each word is spoken

ElevenLabs 公开了强制对齐模型 Cue,可将音频文件中每个字符放到精确的时间轴上。Cue 为 ElevenLabs 的 Scribe 模型系列提供支持,在基准测试覆盖的全部 29 种语言中,对真实录音的对齐准确率均超过其测试过的所有对齐工具。

Hacker News 最新gmays2026/11/3 · 14 天前20 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

研究 你的转录文本如何知道每个词是在哪里说出的 作者:Mike Murphy 发布于2026年10月28日 听一听本文音频 0:001.0x 阅读文档 了解更多 本页内容 如果你曾在电视上看过一部播出出了问题的电影,演员的对白和字幕完全对不上,你就知道那有多让人分心,会把你的注意力从故事里拉出来。使用语音模型的视频和软件也有同样的问题:一条晚出现一秒的字幕,或者一份高亮了错误单词的转录文本,给人的感觉同样像是出了故障。 “人类很擅长对齐媒体内容,至少是在单词层面上,”ElevenLabs 从事对齐研究的研究员 Danila Kozlov 说。“我们通常天生就能感觉到一个词从哪里开始,但在字符层面、达到亚毫秒级的精度,就难多了。” 今天,ElevenLabs 分享了更多关于 Cue 的信息。Cue 是一个强制对齐模型,能把音频文件中的每个字符放到精确的时间轴上。Cue 为 ElevenLabs 的 Scribe 模型系列提供支持,在真实世界的录音上,它在基准测试的全部 29 种语言中都比 ElevenLabs 测试过的每一个对齐器更准确。它还能单次处理任意长度的录音,并在不到一秒内对齐一小时的音频。 想象有人交给你一段视频和一份转录文本,让你把每个词匹配到它被说出的那一刻。这就是强制对齐。当你在 ElevenLabs 的转录文本中点击一个词、播放器跳到那个确切位置时,就是一个对齐器在做这件事。 不过,强制对齐与更模糊的 AI 对齐概念不同。后者指的是设计 AI 系统,使其行为符合人们的价值体系和业务偏好。而强制对齐,我们说的只是把文本和声音对齐。 Cue 是语音转文字流程的最后一步。ElevenLabs 的语音转文字模型 Scribe 转录音频,对齐器则设定时间。每一次 Scribe 请求都会经过它。同一个模型还为字幕、配音和音乐的歌词时间轴提供支持,并且可以通过 Forced Alignment API 单独使用。 由于有这么多产品依赖它,对齐器必须在每一种支持的语言中都精确、速度极快,并且能同时处理大量请求。 在新模型之前,团队构建的对齐器模型一直用于迄今为止的每一款 ElevenLabs 产品。尽管它很强大,他们知道自己可以做出更强的版本。Kozlov 加入后,他和团队首先采访了客户和 ElevenLabs 的内部用户,了解他们在使用之前的对齐器时有哪些困扰。他们的抱怨与团队测试的开源工具的局限相吻合。 长度是第一个主要问题。如今许多对齐器对约 30 秒长的片段效果很好,但更长的文件必须切成块。每一个新块都可能增加一点时间误差,而拼接块与块之间的接缝又会增加更多误差。在完整录音上,Cue 的平均时间误差仅为 179 毫秒,而开源工具则在 283 毫秒到 6000 毫秒以上之间。 真实世界的录音音频更是挑战。背景噪音、重叠的说话声和环境音乐会让许多工具在把文本匹配到音频时失去位置。但这些恰恰是许多人真正想要转录的文件,因为我们大家都倾向于生活在并不完全安静的地方。在有背景问题的英语录音上,Cue 的平均误差是 57 毫秒,相比之下其他工具是 65 毫秒到 920 毫秒。 语言支持是另一个限制。大多数开源对齐器需要为它们支持的每种语言单独提供一个模型,因此训练数据较少的语言往往表现不佳,或者根本不被支持。MMS-FA 是唯一另一个能处理全部 29 种基准语言工具,相比之下,Cue 在确定词与词之间的边界时通常更快。 速度也是这些模型的一个问题,因为对齐大量音频会很快变得昂贵。在我们的生产 GPU 上,Cue 可以在大约半秒内对齐一小时的音频。第二快的工具 Qwen3-ForcedAligner 需要近 2 秒,而测试中最慢的工具则花了一分多钟。 与大多数竞争对手不同,Cue 是一个单一模型,覆盖 90 多种基准语言。它还能单次处理任意长度的录音,从而避免了分块——分块会导致长文件上的时间误差不断累积。 捏合或按住 Control 滚动以缩放。水平滑动或按住 Shift 滚动以平移。聚焦某个词时,使用加号和减号缩放,或按住 Shift 加左、右箭头平移。 Kozlov 说,尽管大多数模型随着性能提升而变得更大,Cue 却比 ElevenLabs 之前的对齐器更小。它仍然运行在 GPU 上,但能在约半秒内对齐一小时的音频。 团队围绕人们实际会上传的音频类型构建了 Cue。他们以之前的对齐器为基线,用真实世界的请求创建了一个基准,并以同样的方式给每个工具打分,任何工具未能放置的词都计为错误。Cue 在字符层面工作,比大多数基准使用的单词级标签更精细,因此那些分数很可能低估了它的精确度。 “在某个时刻你会达到人类能力的水平,”Kozlov 在谈到对齐器模型时说。“我们当前的对齐器已经超过了那个水平,所以要检查你是否完全正确、或者你到底有多精确就难多了,因为对此没有黄金基准。我们不得不用单词级基准来评测一个字符级系统,这未必能展现 Cue 的全部潜力。”

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →