返回资讯中心
外部精选
软件工程
#开发者实时流

Kuroko用1490万参数模型在Sesame TurnBench两个任务上取得最高召回率

来源标题:#1 on Sesame's TurnBench with a 14.9M-parameter turn-taking model

Kuroko系统在Sesame的TurnBench基准测试的两个任务上均取得27个参赛条目中最高的召回率。该系统由Silero VAD、p99lab的时序规则和一个在1025小时对话数据上训练的1490万参数模型组成,在测试集上分别识别出98.3%的回合结束和98.9%的打断,误报率分别为6.5%和7.4%。

Hacker News 最新oncelozgul2026/11/18 · 今天30 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

在 Sesame 的 TurnBench 上以 1490 万参数轮次转换模型排名第一

一个语音代理会反复做两次判断。它要判断对方是否已经说完,以便自己可以回答。而当代理正在说话时对方发出声音,它要判断这个声音是在抢话,还是一声“嗯哼”。Sesame 的基准测试 TurnBench 用两人之间的录音对话对这两次判断进行评分。

Kuroko 是我们为此构建的系统,它由三部分组成。Silero VAD 找出每位说话者发出声音的位置。p99lab 为其参赛系统 turn-1-mini 发布的时序规则决定一个轮次何时结束。我们在 1,025 小时对话上训练的模型每秒回答 25 次同一个问题:它听到的声音是否在争夺发言权。它的回答能在声音持续到足以触发规则之前就判定一次打断,并且它会告知轮次结束规则对方说话者已经接管。

在基准测试的测试集上(其标签仅由维护者持有),Kuroko 找出了 6,293 个轮次结束中的 98.3%,以及 804 次打断中的 98.9%。它在轮次中途停顿上的误报率为 6.5%,在听者声音和噪声上的误报率为 7.4%。2026 年 11 月 17 日,这在两项任务上都是 27 个参赛系统中的最高召回率,各领先半个百分点。在开发集上(我们在此选择其设置),它分别达到 98.7% 和 100%。我们在提交前所做的估计——用其中一半对话选择设置、在另一半上评分——为 98.3% 和 98.8%。

TurnBench 为每位说话者评两个事件。只要误报率保持在隐藏测试集上不超过 15%,它就按参赛系统找出了多少事件来排名。

TurnBench 是 30 小时的演播室录制双人对话,每人各占一个声道,由三名标注员标注。开发集有 38 段对话,标签公开。测试集有 116 段,只有音频公开。

轮次结束是指说话者已经说完、发言权开放的时刻。说话者在停顿中发出声音后又继续说话,该事件即为误报。打断是指说话者在对方说话时取得发言权的时刻。在听者声音或噪声上触发的事件即为误报。

预测若落在标注时刻之前 0.25 秒到之后 3 秒之间,则计为有效。系统必须是因果的。基准测试默认信任这一点,因此我们自己进行测试。

规则决定一个轮次何时结束。模型回答规则无法回答的那个问题:刚刚开始的声音是否是在争夺发言权。

3Model 回答一个声音是否争夺发言权。每秒 25 次回答 · 1490 万参数

检测器

Silero VAD(版本 6.2.3)以 32 毫秒为步长在每个声道上运行,标记出声音段,我们称之为单元。它在最后一个声音之后 0.26 秒才知道一个单元已经结束,因为它必须看到静音持续。下面的规则从单元的边缘开始计数,因此等待单元结束的事件至少在其后 0.26 秒才会出现。

这些规则是 p99lab 为 turn-1-mini 描述的规则,去掉了该系统的学习部分。我们在开发集上重新选择了数值。每当说话者停止,就开启一个候选轮次结束。它会在停止后不早于 0.35 秒,在以下三个时刻中最先到达者处被确认:

如果在该时刻之前又听到说话者持续 0.55 秒,候选即被丢弃。如果说话者停止时对方已经说了 2.9 秒,并且 0.35 秒后仍在说,则无论说话者接下来做什么,轮次结束都被确认。

仍在 2.75 秒后保持开放的候选会被第二次确认;音频结束时仍开放的候选在其最后一个采样点被确认。评分器对每次停顿最多计一次误报,而标注员常常把轮次结束标在最后一个声音之后很久,因此第二个事件能以零代价找到那些较晚的标签。p99lab 测得该事件为 turn-1-mini 带来 3.6 到 3.8 个百分点的召回率。我们没有为 Kuroko 测量这一点。

打断对每个声音只确认一次:当模型的回答达到 0.9 时(从声音开始后 0.32 秒读取),或者当声音已持续 1.3 秒时。回答升至 0.99 也会确认一次打断,即使检测器已将说话者的声音合并为一个长单元。

模型将两位说话者都作为 log-mel 帧来听:80 个频带,每秒 50 帧,来自 16 kHz 音频。两个卷积和八个宽度为 384 的 transformer 层将它们转为回答,每位说话者每秒 25 个。注意力只回看,最多 40 秒。两位说话者通过相同的权重,各自一次作为“自己”、一次作为“对方”。总计 1490 万参数。

它学习关于每位说话者的四个回答:是否有声音,该声音是否争夺发言权,说话者是否持有发言权,以及每位说话者在接下来两秒的四个时间段内会说多少话。最后一个遵循 voice activity projection。事件只读取第二个回答,不读取其他。我们没有测试其他三个是否有帮助。

没有人标注我们的训练音频。一段录音显示了每个声音之后发生了什么,大多数情况下这就能说明该声音是否争夺了发言权。

标签是一条关于时序的规则。一个声音如果是听者声音,需满足:持续时间至多 1 秒,与同一说话者的其他语音至少相隔 1 秒,在对方说话时或之后 2 秒内开始,并且对方穿过它继续说话或在 1 秒内继续。在有转录文本的情况下,仅由“yeah”、“mhm”、“right”或“wow”这类词构成、时长至多 1.5 秒的声音也是听者声音。其他所有声音都争夺发言权。

模型必须仅凭过去给出相同的回答。其训练损失对每个声音的前 1.2 秒计算五次,因为那正是需要回答的时候。

我们对照开发集的标注员检查了该规则。仅凭时序,它把 67% 的 backchannel 判为听者声音,并将 98% 的轮次和打断保留为争夺发言权。结合其转录文本的词语,这两个数字为 81% 和 97%。该规则无法区分简短回答和 backchannel:对问题的回答“yeah”争夺发言权,而规则说它不争夺。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →