测试显示Gemini Decision 1无法区分2024年后生成的AI语音
来源标题:Gemini Decision 1 can't separate AI voices made after 2024
测试发现,Google 的多模态决策模型 Gemini Decision 1 能较好区分 2025 年前发布的 AI 语音与真人语音,但对之后生成的 AI 语音识别能力明显下降。在 1,020 段 AI 音频中,仅 20 段被判定为 AI 生成的概率达到或超过 50%。该模型整体存在将所有音频都倾向标记为真人制作的偏差。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
Gemini Decision 1 是 Google 于 2026 年 11 月 11 日发布的一款多模态决策模型,与 TypeSafe AI 的 System One 模型 Jev 类似。
在浏览 Hacker News 时,我偶然看到了 Liam Warfield 写的《Gemini Decision 1 喜欢什么音乐?》。他在文章结尾提出了几个扩展自己项目的想法,其中最后一条——“它(Gemini Decision 1)喜欢还是讨厌 AI 生成的音乐?”——引起了我的注意,因为这暗示该决策模型或许能够识别 AI 生成的音频。结果发现,Gemini Decision 1 区分 AI 语音与人类语音的能力确实显著高于随机水平,但前提是 AI 语音生成器发布于 2025 年之前。
先澄清一点:我说的是“区分”而非“分类”,因为该模型强烈倾向于将所有测试音频都标记为人类制作。在 1,020 个 AI 片段中,只有 20 个被判定为 AI 生成的概率达到或超过 50%。不过,随机抽取一个 AI 片段所获得的 P(AI) 高于随机抽取一个人工片段的概率——即 ROC-AUC——在 2025 年前的模型中明显更高,这说明近期的 AI 语音比以往更难辨别。
图中每个点代表一个 AI 语音生成器,衡量标准是 Gemini Decision 1 将其 30 个音频片段与 200 个人类有声书片段区分开来的效果。
汇总来看,2023 年和 2024 年的生成器区分 AUC 为 0.67。2017 至 2022 年的六个较早生成器得分相同(0.67)。然而,2025 年和 2026 年发布的生成器 AUC 仅为 0.52,基本等同于随机。2025–2026 年的生成器中,除一个之外,其余 95% 置信区间均包含 0.5;唯一的例外是 Inworld TTS-2,其置信区间为 0.51–0.75。
每个片段都通过三种方式评分:Simple Noul 二分类问题(输出 0 到 1 之间)、带上下文标准的 Criteria Noul,以及从“确定是真实人类录音”到“确定是 AI 生成或合成”的 5-Pt Rubric 重标度分数。
值得注意的是,AUC 并非平缓下降,而是在 2024 年末、也就是 2025 年初出现急剧下跌。
MLAAD 背后的研究团队在 2026 年开展了一项聆听研究,收集了来自 1,768 人的 35,532 次真假判断。能骗过人类的生成器往往也能骗过 Gemini Decision 1(r = +0.57),但两者并不总是一致。Griffin-Lim 是一种 1984 年提出的参考信号处理方法,Gemini Decision 1 对它的区分 AUC 仅为 0.53(接近随机),而人类有 72% 的概率能识别出来。Cartesia Sonic-3 对人类来说最难辨别(正确率 32%),而对 Gemini Decision 1 来说恰好处于随机水平(AUC 0.51)。
有趣的是,Gemini Decision 1 对 Gemini 3.1 Flash TTS 的 AUC 仅为 0.58,这意味着它识别“自己”声音的能力只比随机略好一点。事到如今,无论是人还是机器,都无法可靠地区分近期的 AI 语音。
不难想象,某些泄露的元数据可能导致这些结果。和 AI 领域的所有事情一样,我希望确保自己测量的确实是我想要测量的东西。
AI 语音片段来自 MLAAD,这是一个包含 143 个英语生成器的数据集,所有生成器朗读同一组有声书句子。测试时,我从 34 个生成器中各取了 30 个时长 2.5–10 秒的片段。每个生成器的片段都与来自 LibriTTS 的同一组 200 个人类片段(30 位说话人)进行对比测试,LibriTTS 是一个 LibriVox 有声书录音数据集。所有片段均为干净的有声书朗读。
在将音频片段发送到决策 API 之前,每个片段都用 ffmpeg(-map_metadata -1 -vn -ac 1 -ar 24000 -t 15 -c:a libmp3lame -b:a 128k)重新编码,以防止元数据影响结果。此外,每个片段都进行了 8 kHz 带宽限制(aresample=16000,aresample=24000)和响度归一化(loudnorm=I=-20:TP=-2:LRA=11)。
AUC 采用 Criteria Noul,每个生成器 30 个片段对比 200 个 LibriTTS 片段;置信区间对片段和 LibriTTS 说话人进行重采样。†表示该生成器在 2026 年聆听研究中的正确猜测比例(全部片段)。
AI 片段:MLAAD(CC BY-NC 4.0)。人类片段:LibriTTS(CC BY 4.0)。人类聆听结果:Human Audio Deepfake Perception 2026(CC BY-NC 4.0)。
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。