返回资讯中心
外部精选
软件工程
#开发者实时流

开发者基于Qwen3-ASR训练LoRA适配器,让语音模型听一次即可拼写生僻名字

来源标题:Show HN: Teach a speech model (en) a name by saying it once, on your Mac

开发者通过对Qwen3-ASR 1.7b训练LoRA适配器,使语音模型在听过一次自定义单词录音后即可正确转写该词。配套Mac应用Detail Keeper利用该适配器,先用发音筛选候选词再转写并校对,可处理生造词、代号及Kathryn与Catherine等拼写区分场景。在包含1100处姓名提及的有声书基准测试中,其对已教名字的拼写达到与对照相当的水平。

Hacker News 最新Angus11922026/11/5 · 12 天前5 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

我想看看,如果语音模型听过一个名字的发音,而不只是读到它的拼写,能不能把名字拼得更准。大多数 STT 工具把自定义词汇当作文本来处理(关键词列表、事后用 LLM 修正转写结果等)。于是我训练了一个 adapter 来尝试这件事,具体来说是在 Qwen3-ASR 1.7b 上训练 LoRA(见 benchmark)。这个 LoRA 只有在听过每个自定义词的录音之后,才会转写这些词。

为了让这个模型在日常生活中更容易使用,我们还做了 Detail Keeper。这是一个 Mac 应用,你可以在里面用上这个 adapter:先指定那些难以正确转写的词,之后它们就能在录音中被正确识别。我们发现它在两种特定场景下很有用:

  1. STT 从未听过的词:虚构的角色和地名、代号、不常见的姓氏。
  2. 一个它认识、但你拼法不同的词:是 Kathryn 而不是 Catherine,是 Jon 而不是 John。

仅靠模型本身,我无法同时做到既识别得好、又能识别很多词(1k+)。Detail Keeper 先根据发音把每段话缩小到最有可能的已教名字范围,然后由 adapter 写出这段话,应用再拿它和一份普通转写结果对照。

在我们的公开 benchmark(有声书,1,100 处名字提及)上,它对已教名字的拼写准确率与 Eleven Labs Scribe 配合关键词功能相当:89.6% 对 88.2%,没有可测量的差异。唯一的缺点是它会多覆盖几个未教过的名字,并稍微多改动一些普通词。所有内容,包括我们表现不佳的地方,都在 detailkeeper.com/benchmark。

注意:它免费、本地运行,任何数据都不会离开你的 Mac,但目前需要 Apple M 系列及以上的 Mac 和 OS 26+。另外值得一提的是,它会下载约 3.6GB 的模型,而且目前只支持英文。

如果你感兴趣,也可以在 HF 上找到这个 adapter 本身:huggingface.co/virgil-coach/own-names-qwen3-asr

评论 URL:https://news.ycombinator.com/item?id=50383785 点数:1

评论数:0

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →