
ElevenLabs 发布语音转文字模型 Scribe v3 和 v3 Live
来源标题:Scribe v3 and v3 Live
ElevenLabs 推出 Scribe v3 与 Scribe v3 Live 两款语音转文字模型,称其为该公司目前最准确的转写模型。Scribe v3 Live 已在 ElevenAgents 上线,两款模型均可通过 ElevenAPI 调用,从 Scribe v2 切换只需改动模型 ID 一行。ElevenLabs 表示 Scribe 此前已累计处理数亿小时转写。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
产品 隆重推出 Scribe v3 与 v3 Live,这是我们迄今最准确的语音转文字模型 作者:Min Kim 发布于2026年11月10日 收听收听本文音频 构建于音频之上的产品都始于一份转录文本:会议纪要、语音代理、配音、临床文档,以及跨越数十年内容的广播档案。第一次就把转录做对至关重要,因为每一个错误都会向下游传递,而在下游修复错误的代价要高得多。
但现实世界中的音频往往是混乱的。它可能是会议中几个人同时抢话,可能是繁忙街道上的客户说到一半突然停顿,也可能是双方都不是用母语交流的客服通话。
今天,ElevenLabs 推出两个专为这些场景打造的全新语音转文字模型:
Scribe v3 Live 即日起在 ElevenAgents 中可用。两个模型也已在 ElevenAPI 中上线,从 Scribe v2 切换只需改一行模型 ID。
Scribe 已为会议纪要应用、联络中心、临床文档工具和语音代理提供了数亿小时的转录支持。在各种用例中,基于它构建产品的团队一直在提同样的五件事。
会议与笔记团队希望在快速往返对话以及三人以上发言的场景中获得更好的说话人分离效果。语音代理团队表示,静音计时器会在来电者句中停顿或放慢语速读数字时打断他们。构建实时产品的团队一直在用准确性换速度,因为实时模式的表現明显不如批处理。印度的客户希望印地语能达到与英语相当的水平,即使来电者在句中来回切换两种语言。还有许多人希望对输出有更多控制,从把数字写成“123”到提供足够长的关键术语列表,以覆盖产品目录或药品名称清单。
在会议转录中,识别正确的说话人与获取正确的文字同样重要。在三人以上发言的录音中——也就是大多数现有模型容易失败的录音——Scribe v3 的说话人分离错误比 Scribe v2 少 17%。Scribe v3 Live 还首次将说话人分离引入实时转录,在我们测试的实时模型中,其说话人分离错误比次优模型少 39%。
要让对话感觉自然,语音代理需要准确判断说话人何时说完。传统的轮次切换系统依靠静音时段来判断。但仅靠静音会带来权衡:阈值设得短,可能打断在句中停顿的人;设得长,又会让代理显得迟钝。Scribe v3 Live 同时利用对话上下文和音频,因此来电者在数字读到一半停顿时不会被切断。这与 ElevenAgents 已在使用的轮次检测相同,现已在 ElevenAPI 中提供。
Scribe v3 可以推断录音中可能包含哪些语言的线索,并让你选择数字以数字形式还是文字形式返回。关键术语提示最多可接受 1,000 个你预知会出现的术语,例如品牌名、缩写和行话;转录编辑则可应用用通俗英文编写的格式规则,例如“将所有日期写为 YYYY-MM-DD”。
Scribe v3 Live 新增多语言模式,适用于句中切换语言的对话。它还新增了关键术语库,用于存放列表容纳不下的超大词汇量。关键术语提示覆盖你预知会出现的术语,而关键术语库则容纳数千个可能出现的术语,模型只在听到可能的匹配时才查阅它。
ElevenLabs 在相同数据集上对两个模型与 Scribe v2、Scribe v2 Realtime 及其他主流语音转文字模型进行了评估和评分。多语言准确性在 FLEURS 基准的内部版本上衡量,该基准测试 102 种语言的简短、清晰的朗读语音。FLEURS 无法衡量说话人分离,因为每个片段只有一位说话人,因此我们还自建了一个数据集,涵盖 16 种语言的真实会议、代理通话和语音笔记。我们很快会将其开源。
在我们测试的所有模型中,Scribe v3 的说话人分离错误最低,总体比 Scribe v2 少 12%,在三人以上发言的录音中少 17%。
我们同时报告词错误率(WER)和语义 WER,后者仅在转录含义发生变化时才计为错误。
在 FLEURS 的 102 种语言上,Scribe v3 相比 Scribe v2 将 WER 降低了 27%,且在测试的每种语言上都有提升。在较易转录的语言中,德语提升了 42%,西班牙语提升了 35%,英语提升了 23%。在较难转录的语言中,提升幅度更大:斯瓦希里语下降 34%,泰米尔语下降 29%,泰语下降 28%。
在我们测试的每一个批处理(非流式)模型中,Scribe v3 的词错误也更少——我们在两个模型都支持的语言上逐一进行了比较。
在我们 16 种语言真实数据集中的英语部分,Scribe v3 Live 的说话人分离错误率为 3.1%,而我们测试的其他实时模型为 5.9% 至 7.3%。
标准的说话人分离评分也会计入转录错误,例如漏词,而实时模型比批处理模型漏词更多。为了仅衡量每个词是否被分配给了正确的说话人,我们在评分前将每个模型的转录与参考文本对齐。这降低了每个模型的错误率,因此这些结果不能与上文的批处理说话人分离结果相比较。
对于实时模型,我们以语义 WER 为主要指标。流式模型在听完整个句子之前就开始输出文本,而且每个提供商对数字、标点和大小写的格式处理各不相同。标准 WER 会将这些差异计为错误,即使含义相同,因此语义 WER 是更公平的比较。
在 102 种语言上,Scribe v3 Live 相比 Scribe v2 Realtime 将语义 WER 降低了 43%,WER 降低了 31%。它在每种语言上都有提升,且错误率低于我们测试的所有其他实时模型。
提升最大的地方正是实时转录此前落后的领域:希腊语提升 77%,丹麦语提升 54%,克罗地亚语提升 45%,而印地语提升了 36%。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。