32M参数小型模型让语音助手学会在对话中给出「嗯」「真的吗」等回应

点赞 16 文本分类 ONNX 英语 onnxruntime backchannel 语音助手 对话式 AI 许可证：mit 模型卡 文件 文件与版本 xet 社区 复制到存储桶 Backchannel Cue 32M 快速上手 输出 时序输入 推荐规则 输入提示 训练 结果 局限 致谢 Backchannel Cue 32M GitHub · X · YouTube · Discord 人们在听别人说话时，会在对方还没讲完的时候说“嗯”“对”或者“哎呀”。这些小信号被称为 backchannel（反馈信号）。语音助手通常会一直沉默到用户说完，这让人感觉像在对着一堵墙说话。 这个模型补上了这种倾听行为。当用户停顿的时候，把它到目前为止说过的话交给模型，它就会告诉你听者是否会回应，以及如何回应。它能在 CPU 上以毫秒级运行，所以你可以在每次停顿时调用它，而不需要 LLM。 快速上手 pip install onnxruntime tokenizers numpy huggingface_hub python example.py example.py 是一套完整的策略，你可以直接复制。它的主要调用是： from example import decide decide("my dad got really sick last week") # 例如 "Oh no." decide("i wanted to tell you about") # "About what?" decide("what time is it") # 通常是 None：保持安静 在停顿约 0.45 秒时，对实时转录文本调用它。如果可能的话，用预先渲染好的音频播放返回的文本：实时生成通常来不及。如果用户明显已经说完了这一轮，就让你的助手来回复。 输出 输出 含义 gate 听者此刻会回应的概率 reactions 每种回应类型的分数（见下表） mood neutral、bad、good 或 funny forms 具体措辞，共 61 个类别，例如“mhm”“oh no”或“right” echo 适合哪种反问问题 反应 示例 continuer “Mhm.” receipt “I see.” agree “Exactly.” surprise “Really?” wow “Wow.” sympathy “Oh no.” praise “That's great.” laugh “Haha.” echo “About what?” 接在“I wanted to tell you about”之后 config.json 包含所有标签，以及哪种措辞属于哪种反应。（meta.json 是同一个文件，为旧版示例副本保留。） 时序输入 模型接收五个数字，example.py 会根据以下这些值替你计算出来： 推荐规则 原始分数并不是一套完整的策略。以下规则在测试中表现良好，example.py 应用了前三条： 输入提示 只发送当前这一轮，不要发送整段对话。面对杂乱的语音识别文本，更早的轮次会大幅拉低 echo 分数。使用不带标点的小写单词，最新 30 个词。example.py 中的 clean() 函数会做这件事。 训练 编码器：jhu-clsp/ettin-encoder-32m（MIT）。 真实对话：约 295,000 次停顿，其中 63% 来自 Open Yap 1K，37% 来自 Switchboard（MS-State 转录文本）。这些数据教模型人们何时回应以及用哪些词回应。 教师标签：约 7,100 次停顿和 18,400 个书面句子，仅根据可见的词标注了合适的反应、情绪和 echo。标签来自本地 Qwen 模型和 OpenAI GPT-5.4 模型。OpenAI 模型从未见过 Open Yap 文本。 本仓库只包含模型权重，不包含训练数据。 结果 检查项 结果 Gate AUC，留出语料停顿 0.733 Gate AUC，短轮次，当前轮文本 0.714（Switchboard 0.76，Open Yap 0.61） 情绪准确率，书面开发集 86% 新的悲伤句子 12 句中 12 句被读作 bad，0 次笑 0.7 阈值下的 echo，手写集 14 个好的全部触发，12 个坏的触发 2 个 同样的 echo，加上合成转录错误 99% 好的触发，30% 坏的触发 手写集很小，而且有些在调参时用过，所以这些数字只能粗略参考。 局限 仅支持英语。 无法从文本中检测幽默，所以很少对有趣的故事发笑。 只读取文字，因此语调 and 音高对它来说不可见。 gate 单独使用时较弱。预计会有一些错位的提示。 使用当前轮输入时会忘记更早的轮次，所以上一轮的悲伤消息不会阻止一个欢快的提示。 在杂乱的转录文本上，echo 问题会变得不太可靠，而且“Like what?”可能会在填充词“like”之后触发。 它只在模拟对话和一个人身上测试过，没有做过用户研究。 致谢 Open Yap 1K 由 The Agentic Data Company 提供。编码器由 JHU CLSP 提供。Switchboard 转录文本由 Mississippi State University 提供。 推理提供商 新 文本分类 此模型未由任何推理提供商部署。🙋 请求提供商支持 KoljaB/backchannel-cue-32m 的模型树 基础模型