Clef-Omni 语音判分模型难辨西班牙语近音词

上一篇里我写到，我试着用一个音频判断模型来给西班牙语单词卡打分。我目前正在上一个西班牙语课，觉得用这些新的判断模型来打造一种低延迟的西班牙语学习体验会挺有意思。

真正动手做起来之后我才发现，可用于音频判断的模型选择相当有限。Clef-omni 基本上是市面上唯一的选择。

我试了一下，大体上能用。但有时候我要求的是“苹果”，Clef-omni 却接受了西班牙语里“明天”那个词。

我想写一个基准测试，来展示这类模型的不平整之处，以及你在根据音频做快速判断时可能遇到的问题。这里是完整的基准测试列表，你可以听录音，看看模型的判断结果。下面是几个失败的例子。

Clef-omni 是一个多模态决策模型。它不生成对话式的回答，而是接收音频，针对“说话者有没有正确回答这张单词卡？”这样的问题返回一个分数。这正是它在低延迟词汇练习场景中的吸引力所在。

这些例子里，我用 openai/gpt-audio-mini 和 openai/gpt-audio 通过 OpenRouter 生成了合成语音，然后把音频、练习题和预期答案一起发给 @cf/cloudflare/clef-omni。要求的语音脚本并没有提供给裁判模型。它的指令包括：

拒绝不同的词、被改动的数字或缺失的否定；容忍自然的口音变化。

页面把 P(correct) 分数大于等于 0.5 视为正确。语音标签是要求生成器朗读的脚本，并非经过独立核验的转写；录音嵌在下面，你可以自己听。

这些是保存下来的判断结果，包括三个错误答案和两个正确答案。下面的徽章显示 Clef-omni 的评分是对还是错。

这些是合成音频片段，但它们展示了一些明显的失败模式。在非合成条件下，它们的表现只会略差一些，但即便使用合成语音，也能看出已有的判断模型／系统一模型的一些缺口。

一定要针对你自己的用例做基准测试，尤其是像多模态这种不太常规的场景。