返回资讯中心
外部精选
软件工程
#开发者实时流

Yarn 推出 Quebec API,75% 词级时间戳误差在 20 毫秒内

来源标题:Show HN: An API for word timestamps from speech, 75% within 20ms

Yarn 发布 Quebec API,可从语音中提取精确的词级时间戳,其中 75% 的时间戳误差在 20 毫秒以内。该 API 基于 MFA 声学模型自研解码器,并加入基于 Whisper Tiny 前两层的 CNN 来微调词边界,以解决现有强制对齐器精度不足的问题。团队用 Gemini 标注了约 1.7 万个词边界用于训练。

Hacker News 最新jasperstory2026/11/17 · 今天6 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

大家好,我们是 Yarn(W24),做一款面向初创公司的视频编辑应用。我们构建了 Quebec(https://quebec.yarn.so),这是一个能从语音中给出精确单词时间戳的 API。我们需要它,是因为即使把某个词的切点偏离真实时间 50ms,也会毁掉口播画面(文章中有示例)。精确的单词时间戳通常来自强制对齐器:它接收语音音频和转写文本,算出每个单词准确的开始和结束时间。我们对 Montreal Forced Aligner(MFA)或 ElevenLabs Cue(https://elevenlabs.io/blog/cue-aligner)这类新模型的准确度并不满意。让 LLM 访问波形/频谱图也没什么帮助。于是我们自己做了一个。其中有两个特别有意思的部分:

  • 我们围绕 MFA 的声学模型写了自己的解码器,只允许每个词落在粗略时间前后 200ms 的范围内。这让搜索空间小到可以精确求解,因此我们不需要使用 MFA 的束搜索。
  • 我们加了一个小型 CNN,基于 Whisper Tiny 的前两层构建,把每个词边界微调最多 50ms。我们找不到足够多允许商用的人工标注语音,所以让 Gemini 标注了我们自己的数据(1.7 万个词边界)。这花了几个小时,成本不到 200 美元。用 Gemini 标注训练的模型得分与用人工标注训练的模型相同(73.9% 对 74%)。衡量准确度的一种方式是:词边界落在人工标注 20ms 以内的百分比。以下是 Buckeye(人工标注的美式语音,我们未在其上训练)上的结果:
  • Quebec 75%
  • MFA 61%
  • ElevenLabs Cue 30%如果你想试试,免费到明晚。你可以让 agent 指向我们的文档 https://quebec.yarn.so,单独发送音频,或连同你自己的转写一起发送。之后的价格是每小时 0.32 美元,无需注册(最低充值 10 美元)。我们按成本价提供服务。注意事项:只在英语上测试过,且比 ElevenLabs 慢。如果 Quebec 对你有用,请告诉我们;也请把效果很差的样本发给我们(可以发邮件到 support at yarn dot so)。另外,如果你构建过或找到了更好的对齐器,也请告诉我们。理论上我们会直接换用更好的对齐器,不过我们可能还是会更努力地把自己的做得更好。谢谢!Jasper 评论 URL:https://news.ycombinator.com/item?id=50532515 点数:1

评论数:0

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →