返回资讯中心
外部精选
软件工程
#开发者实时流

开发者用 LLM-TDD 构建 WhatsApp 语音转写工具 WhatYouSay

来源标题:Write the eval before the fix: building a WhatsApp transcriber with LLM-TDD

开发者受 WhatScribe 启发,自建 WhatsApp 语音转写服务器 WhatYouSay,语音消息会自动转写并贴在原消息下方,接收方可直接阅读。项目支持英语、德语、荷兰语及混合语言,转写发送后服务器即删除语音,以保障隐私。开发采用先写评测再修复的 LLM-TDD 方式。

Hacker News 最新waldov2026/11/14 · 3 天前30 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

语音消息一直让我很头疼。它们往往在我开会或者哄女儿睡觉的时候到来,我希望能够直接阅读它们,而不是停下手上的一切去听。结果它们越积越多:朋友发来的两分钟近况要等到晚上才有空听,而到那时其中一半的内容已经过时了。我不想把自己不喜欢的事强加给别人,所以过去总是用拇指一个字一个字地敲长消息,心里却希望能直接发一条简短的语音消息。

WhatYouSay 同时解决了收发两端的问题。它是一个与 WhatsApp 账号关联的小型服务器。当你发送一条语音消息时,它会被转写、整理,并直接贴在原语音消息下方的同一个聊天里,这样对方就可以阅读而不是收听。我又开始发语音消息了,而使用它的朋友们发给我的消息,我可以在会议间隙读完。

这个想法来自 WhatScribe,一个提供相同功能的托管服务。我想要一个隐私有保障的自己的版本,而且我想自己决定它保留什么。

我必须承认,这远不只是接入 Whisper 那么简单。我和朋友们用英语、德语和荷兰语交谈,有些人还会把三种语言混在一起说。而且语音消息是私密的,所以服务器在转写文本发送之后必须忘掉它们。

LLM-TDD 是一种测试驱动开发方式:由 LLM 编写代码,而我先编写检查。我定义什么算“好”,把它转化为 evals,让模型针对这些 evals 来构建,然后才把结果用到线上。模型的输出不是确定性的,所以 eval 是与参考结果对比,而不是与精确字符串对比。

循环从我来定义什么算“好”、并编写检验它的检查开始。然后 LLM 编写代码,我用真实样本运行,并把输出与参考结果对比。不匹配会把我送回修改环节,要么改代码,要么改 prompt,直到对比通过。只有发布决策才会把改动放到线上,而线上系统中的失败会变成一项新的检查。

在 WhatYouSay 中,被测试的代码是一条 pipeline。Whisper 转写每一条语音消息,较长的消息会做两遍转写。第二个模型负责整理文本、按需翻译,并对长消息做摘要。真实样本是我和使用 WhatYouSay 的朋友们发来的英语、德语和荷兰语语音消息,其中 20 条的参考结果是同一段音频的 ChatGPT 转写。接下来的几节会展示这个循环抓到了什么。

我用同样的 20 条语音消息的 ChatGPT 转写来给这条 pipeline 打分,第一次计分运行的单词匹配率为 69.9%。大部分差距来自 cleanup 模型改写了我们实际的说话方式。德语“gucken”变成了更正式的“schauen”,“matcht”变成了“entspricht”。它把“ja”、“also”、“mal”和“halt”当作填充词删掉了,尽管在德语中这些词承载着语气。它还把一位德语使用者特意用英语说出的英语技术术语翻译成了德语。

这些修改单独来看都像是改进,只有与参考结果对比才把它们标记为错误。第一个修复是一个 prompt,列出绝不可触碰的内容:口语表达、地区性词汇、话语小品词以及嵌入的英语。在同样的 20 条消息上,匹配率升到了 86.4%。这只是第一步,不是最终状态:后面几节中的门槛、修复和回退机制都是在它之后加入的,而且每一个都必须通过同样的这些消息。

在那次修复之后,每种语言都需要自己的门槛。德语草稿最多可以改动 8% 的单词;超过这个比例,pipeline 就不再信任草稿,保留 Whisper 的原文,只借用格式。英语的门槛是 5%,外加一条要求:保留每一个“like”、“you know”和“I mean”,并且绝不添加让句子比实际口语更流畅的辅助词。

荷兰语没有单词数量门槛,因为荷兰语 prompt 会把口语中的数字写成单词,仅此一项就会改变计数。它得到的是两个范围很窄的修复。在一条关于音乐和跳舞的消息中,Whisper 听到的是“prapjes”,而说话者想说的是“grapjes”(笑话),只差一个辅音。模型却一直选择“praatjes”(闲聊),这个词符合话题,但听起来差得更远。荷兰语规则现在允许恰好一个听错的辅音,而且仅当句子能明确该词时才允许。在另一条关于施普雷河上生日游船的消息中,cleanup 把这条河变成了“spreeuwen”(椋鸟),所以荷兰语 prompt 现在会点名 Spree。

有些修复仍然会漏掉。在一条德语测试消息中,Whisper 听到的是“gelaschten”,而说话者说的是“gelöschten”(已删除),cleanup 把它“修正”为“gesendeten”(已发送):一个真实存在的词,但意思错了。这个循环会把已知失败记录为红色测试,所以那个测试会故意保持红色,直到某项改动把它变绿。

Whisper 还有第二种失败模式:它会在消息中途停止。一条 32 秒的英语消息返回时只有 27 个单词,一开始我以为是随机性造成的。真正的原因是服务器把发送者的显示名作为上下文传给了 Whisper。Whisper 会把它收到的 prompt 当作已经听过的音频,于是它在消息中途找到了与这个名字发音匹配的地方,并在那里停了下来。不传名字时,同样的音频返回了 86 个单词。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →