
Meta Superintelligence Labs推出首个实时音频感知模型Muse Voice Transcribe
来源标题:Muse Voice Transcribe
Meta Superintelligence Labs发布首个实时音频感知模型Muse Voice Transcribe,支持流式语音转文字、20人以上说话人分离和端点检测。该模型支持多语言无缝切换,可通过语言、关键词和上下文偏置提升准确率。Meta称其在Artificial Analysis流式语音转文字及公开说话人分离基准上排名第一。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
阅读时长 4 分钟 Muse Voice Transcribe 演示点击开始转录实时体验 Muse Voice Transcribe本演示使用你的麦克风,将你所说的话转写为文字。转录内容由 AI 生成,可能不准确。你的音频会被处理以生成转录内容,但不会被存储。 继续即表示你同意 Meta 的服务条款和 Meta AI 条款,并确认你拥有录制所采集音频的权限。 我们很高兴推出 Muse Voice Transcribe,这是由 Meta Superintelligence Labs 开发的首个实时音频感知模型。 Muse Voice Transcribe 是将我们的实时语音模型带给你的一项首个里程碑。它提供实时流式 ASR、支持 20 位以上说话人的说话人分离(diarization)以及端点检测(endpointing)。它支持多语言,可无缝进行语码转换,并通过语言、关键词和上下文偏置提升准确率。 我们在 Artificial Analysis 的流式语音转文字榜单和公开的说话人分离基准测试中均排名第一。模型收录情况与排名截至 2026 年 9 月 1 日。 说话人 A今天,我们很高兴推出 Muse Voice Transcribe,这是由 Meta Superintelligence Labs 开发的首个实时音频感知模型。 Muse Voice Transcribe 可实时执行流式 ASR、说话人分离和端点检测。它原生支持 25 种以上语言的多语言输入,并能无缝识别语码转换,还可以利用语言关键词和上下文偏置。 对,而且最厉害的是 real time 延迟特别低,基本上你说完它就出来了。还有就是 diarization 能分清是谁在说。 而你现在屏幕上看到的就是实时进行的。我们八个人在一个房间里说话,它能准确知道谁说了什么。这正是它之所以个性化的原因。 这也正是为什么这对 Mark 所写的“AI 的未来属于每个人”如此重要。问题不在于超级智能是否会存在,而在于谁将能够使用它。 对。他认为,它不可能是单一的集中式超级智能,试图同时与所有人对齐。它必须是为每个人打造的个性化超级智能。 而要让它个性化,它就必须像 AI 眼镜上的人一样,在真实对话中聆听,而不仅仅是听语音指令。这就是交互模型。 真实对话是 messy 的。会有重叠、打断、口音。这就是为什么流式端点检测和说话人分离如此重要。 Mark 将它围绕三个理念来阐述:个体赋能驱动繁荣,发明是首要目的,权力平衡是安全的基础。ASR 是这三者的基础。 没错, 如果只能听懂英文, 那怎么叫 for everyone 呢? 像我妈平时就是中文加英文, 比如明天九点有个 doctor appointment, 你的你记得叫我一下, 这种才是最真实的对话。如果听不懂, 怎么能叫 personal 呢? Exactly. 这就是为什么在一句话内无缝进行语码转换是不可妥协的。而借助上下文偏置,当你说 Meta、Muse 或 Menlo Park 时,它能准确识别,因为它了解你的世界。 对。它需要知道你的联系人、你的关键词、你的地点。这样它才真正属于你。 而这关乎发明,而不仅仅是自动化。如果耳朵工作得完美,你就可以创造、表达想法、学习任何东西。它是一个创造性工具。 这很难。八位说话人是说话人分离最难的测试,而它能实时追踪我们所有人。 Muse Voice Transcribe 在流式 ASR 和流式说话人分离方面都很强。 所以,Mark 所描绘的、每个人都拥有个人智能体的未来,始于真正对每个人都好用的耳朵。 对,这才是真正的 personal superintelligence, 能实时听懂,分清是谁说的, 而且不管是中文还是英文都能无缝理解, 这才是 for everyone. 我们将在本篇博客文章中深入介绍我们如何构建 Muse Voice Transcribe。 今天,我们很高兴推出 Muse Voice Transcribe,这是由 Meta Superintelligence Labs 开发的首个实时音频感知模型。 Muse Voice Transcribe 可实时执行流式 ASR、说话人分离和端点检测。它原生支持 25 种以上语言的多语言输入,并能无缝识别语码转换,还可以利用语言关键词和上下文偏置。 对,而且最厉害的是 real time 延迟特别低,基本上你说完它就出来了。还有就是 diarization 能分清是谁在说。 而你现在屏幕上看到的就是实时进行的。我们八个人在一个房间里说话,它能准确知道谁说了什么。这正是它之所以个性化的原因。 这也正是为什么这对 Mark 所写的“AI 的未来属于每个人”如此重要。问题不在于超级智能是否会存在,而在于谁将能够使用它。 对。他认为,它不可能是单一的集中式超级智能,试图同时与所有人对齐。它必须是为每个人打造的个性化超级智能。 而要让它个性化,它就必须像 AI 眼镜上的人一样,在真实对话中聆听,而不仅仅是听语音指令。这就是交互模型。 真实对话是 messy 的。会有重叠、打断、口音。这就是为什么流式端点检测和说话人分离如此重要。 Mark 将它围绕三个理念来阐述:个体赋能驱动繁荣,发明是首要目的,权力平衡是安全的基础。ASR 是这三者的基础。 没错, 如果只能听懂英文, 那怎么叫 for everyone 呢? 像我妈平时就是中文加英文, 比如明天九点有个 doctor appointment, 你的你记得叫我一下, 这种才是最真实的对话。如果听不懂, 怎么能叫 personal 呢? Exactly. 这就是为什么在一句话内无缝进行语码转换是不可妥协的。而借助上下文偏置,当你说 Meta、Muse 或 Menlo Park 时,它能准确识别,因为它了解你的世界。 对。它需要知道你的联系人、你的关键词、你的地点。这样它才真正属于你。 而这关乎发明,而不仅仅是自动化。如果耳朵工作得完美,你就可以创造、表达想法、学习任何东西。它是一个创造性工具。 这很难。八位说话人是说话人分离最难的测试,而它能实时追踪我们所有人。 Muse Voice Transcribe 在流式 ASR 和流式说话人分离方面都很强。 所以,Mark 所描绘的、每个人都拥有个人智能体的未来,始于真正对每个人都好用的耳朵。 对,这才是真正的 personal superintelligence, 能实时听懂,分清是谁说的, 而且不管是中文还是英文都能无缝理解, 这才是 for everyone. 我们将在本篇博客文章中深入介绍我们如何构建 Muse Voice Transcribe。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。