
CavaAlign 发布:16 MB 音频文本对齐模型,支持 35 种语言
来源标题:Show HN: CavaAlign, a 16 MB word-level audio/text aligner for 35 languages
CavaAlign v1 是一个仅 16 MB 的音频与文本词级对齐模型,支持 35 种语言,可在手机端运行。在 LibriSpeech 测试中,88% 的词起始时间误差在 50 ms 以内,接近两个独立参考互为基准时的 89.5%。5 分钟音频在 4 核笔记本 CPU 上对齐仅需 12 秒,峰值内存 0.4 GB。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
CavaAlign v1 亮点 快速上手 Android(Kotlin) 基准测试 语言 模型 文件 局限性 参考音频片段 许可证
CavaAlign v1 音频 + 文本 → 词级时间戳,体积小到可以放进手机。支持 35 种语言。仅 16 MB。 给它一段录音和对应的文本,它返回每个词被说出的时间。
亮点
精准。在 70 位 LibriSpeech 测试说话人上,88% 的词起点落在强制对齐真值的 50 ms 以内。这已经接近两个独立参考彼此一致的 89.5% 的水平。
小巧且快速。全部 35 种语言共用一个 16 MB 的模型,int8 权重,使用标准 ONNX 算子。在 4 核笔记本 CPU 上,5 分钟音频的对齐耗时 12 秒,峰值内存 0.4 GB。
每个词都有时间。文本中的每个词都会获得一个时间,只有 0.3% 的词误差超过 250 ms。而带词级时间戳的语音识别器会有 5–20% 的词没有时间戳或偏差很大。
为书籍而生。能处理音频开始之前就存在的文本(前言、章节标题)、未被朗读的脚注以及朗读出来的公告,而无需转写。
快速上手
pip install onnxruntime numpy soundfile regex num2words hf download cava-reader/cavaalign-v1 --local-dir cavaalign-v1 python cavaalign-v1/align.py speech.wav speech.txt --lang en
import sys; sys.path.insert(0, "cavaalign-v1") import soundfile as sf from align import load, align sess, cfg = load() audio, sr = sf.read("speech.wav", dtype="float32") # 16 kHz mono with open("speech.txt", encoding="utf-8") as f: text = f.read() for w in align(sess, cfg, audio, text, lang="de")[:5]: print(f"{w['start']:7.2f} {w['end']:7.2f} {w['word']}")
pip install numba 是可选的,它能让长录音的处理速度提升约 4 倍。任意长度的音频都可以处理:align.py 以短重叠窗口的方式运行模型,因此内存占用保持平稳。num2words 用于朗读非英语语言中的数字;regex 是可选的。
Android(Kotlin)
kotlin/ 目录包含与 Python 代码相同的罗马化器和对齐器,外加一个 ONNX Runtime 封装。在相同的模型输出下,Kotlin 和 Python 对齐器产生相同的时间戳。
val model = CavaAlignModel(context.assets.open("cavaalign.onnx").readBytes()) val emissions = model.logProbs(audio) // FloatArray, 16 kHz mono, about [-1, 1] val result = CavaAligner.fromText(text).align(emissions) for (w in result.words) { // w.wordIndex, w.startSec, w.endSec, w.measured
wordIndex 统计的是你传入文本中的词:连续的字母和数字算作一个词,词内的撇号不拆分(“don't”是一个词,“well-known”是两个词)。对于音频未覆盖到的词,measured 为 false,它们的时间继承自前一个词。
对齐器的内存占用随录音长度增长。对齐长篇书籍时,请一次处理一章或一节,并传入该段音频对应的文本。
基准测试
英语,70 位 LibriSpeech test-clean / test-other 说话人(每人约 60 秒,共 12,195 个词)。真值采用 Montreal Forced Aligner 的词起点。每个系统都获得完全相同的文本,并按照其用户的实际使用方式运行。系统未给出时间戳的词计为未命中。对于存在固定时间延迟的系统,评分时会扣除该延迟,因此不会因固定偏移而受到惩罚。
同一音频的两次独立 MFA 对齐在 50 ms 以内一致的比例为 89.5%,因此该基准无法区分大约 90% 以上的系统。在两个参考彼此一致的那些词上,CavaAlign v1 在 50 ms 以内的比例为 95.1%。
语言
一个模型覆盖全部 35 种语言。文本按词进行罗马化(西里尔字母、变音符号和重音符号 → a–z),因此无需按语言分别下载。以下列出的是所有经过测试、且 70% 以上的词起点落在 50 ms 以内的语言。
全部 35 种语言的平均值(各行简单平均):86.7% 的词起点在 50 ms 以内,3.4% 误差超过 250 ms 或没有时间戳。朗读语音,参考时间来自 MFA;MFA 发音词典中缺失的词使用生成的发音(G2P),因此每个词都有时间戳。
† MFA 没有这些语言的模型,因此其参考是在 Common Voice 音频上训练的、基于拼写发音的 MFA 模型。在捷克语上(两种参考都有),CavaAlign 针对该类参考得分为 88.4%,针对 MFA 自身参考得分为 90.8%。
测试音频:南非荷兰语、白俄罗斯语、波斯尼亚语、保加利亚语、加泰罗尼亚语、克罗地亚语、捷克语、丹麦语、爱沙尼亚语、芬兰语、加利西亚语、豪萨语、匈牙利语、印度尼西亚语、吉尔吉斯语、拉脱维亚语、立陶宛语、罗马尼亚语、塞尔维亚语、斯洛伐克语、斯洛文尼亚语、瑞典语、土耳其语、乌克兰语、越南语和威尔士语使用 FLEURS;荷兰语、英语、法语、德语、意大利语、波兰语、葡萄牙语、俄语和西班牙语使用 LibriSpeech、Multilingual LibriSpeech 和 Russian LibriSpeech。
模型
架构 原始波形前端 + 8 层流式 conformer(d 256),CTC 头
参数量 14.6 M
权重 int8(动态量化),fp32 计算
输入 波形 float32 [batch, samples],16 kHz 单声道,长度 int64 [batch]
输出 log_probs [batch, frames, 29],50 帧/秒,out_lengths
词表 blank、a–z、撇号、unk(vocab.json)
对齐器 带文本跳过、音频跳过和前置内容弧的单调动态规划(cavaalign/)
自行运行:
文件 file cavaalign.onnx 模型 align.py, cavaalign/ Python 参考实现:罗马化器和对齐器(numpy) align_config.json, vocab.json 对齐器设置、词表、帧移 kotlin/ 与 Python 相同的罗马化器和对齐器的 Kotlin 版本,外加 ONNX Runtime 封装,用于 Android reference/ 英语、德语和俄语片段及预期输出,用于验证移植 SHA256SUMS 校验和(sha256sum -c SHA256SUMS) LICENSE GNU Affero General Public License v3
要验证移植,请用每个 reference/*.wav 及其 .txt 运行,并与 .expected.json 对比:romanized_text 必须完全一致,log_probs_frames 必须相等,词时间应精确到帧(在 ARM 上偶尔因 int8 舍入出现一帧的差异是正常的)。
局限性
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。