返回资讯中心
外部精选
软件工程
#开发者实时流

开发者发布Indic-Turn-Detector,面向语音代理的开放权重轮次结束检测模型

来源标题:Show HN: Indic-Turn-Detector – open-weights end-of-turn model for voice agents

开发者tarun7r在Hugging Face发布开放权重模型Indic-Turn-Detector,用于语音代理判断用户话语是否结束。该模型支持8种语言(含印地语、Hinglish),基于qwen2构建,采用Apache-2.0许可,可通过Transformers管道调用。

Hacker News 最新tarun7r2026/11/12 · 5 天前30 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

Like 2 文本分类 Transformers ONNX Safetensors 8 种语言 qwen2 文本生成 voice-ai voice-agents turn-detection end-of-utterance end-of-turn eou livekit conversational-ai indic 多语言 hindi hinglish 评估结果(旧版) text-embeddings-inference 许可证:apache-2.0 模型卡 文件 文件与版本 xet 社区 部署 复制到存储桶 使用此模型 了解如何在各类库、推理提供方、Notebook 和本地应用中使用 tarun7r/indic-turn-detector。请通过以下链接开始。 库 Transformers 如何在 Transformers 中使用 tarun7r/indic-turn-detector:

以 pipeline 作为高层封装

from transformers import pipeline pipe = pipeline("text-classification", model="tarun7r/indic-turn-detector")

pip install -U transformers accelerate

直接加载模型

from transformers import AutoTokenizer, AutoModelForCausalLM tokenizer = AutoTokenizer.from_pretrained("tarun7r/indic-turn-detector") model = AutoModelForCausalLM.from_pretrained("tarun7r/indic-turn-detector", device_map="auto") Notebook Google Colab Kaggle Indic 多语言轮次检测器 目录 预期用途 概述 模型变体 工作原理 文本预处理 架构与训练 基座模型 校准 量化与导出 支持的语言 基准测试 检测准确率 用法 LiveKit Agents(Python) 独立 ONNX 部署要求 许可证 资源 Indic 多语言轮次检测器 一个开放权重的文本模型,用于在语音 AI 应用中基于上下文感知判断用户是否说完(EOU),覆盖英语、Hinglish 以及七种 Indic 语言。该模型根据用户转写语音的语义内容和对话上下文,预测用户是否已经说完,为语音活动检测(VAD)系统提供关键补充。 📖 集成:可直接替换 LiveKit 的文本轮次检测器(已弃用;计划在 2.0 SDK 中移除)——EOUTurnDetector 辅助类实现了 MultilingualModel 接口,并覆盖了 LiveKit 文本模型不支持的那些 Indic 语言(它只提供 Hindi)。 目录 预期用途 概述 模型变体 工作原理 架构与训练 支持的语言 基准测试 用法 部署要求 许可证 资源 预期用途 适用于实时语音代理和呼叫中心坐席辅助等场景:只要 STT 流程能产出用户转写文本,且代理需要判断用户的轮次何时结束,就可使用。 概述 VAD 检测的是静音,而不是语义——只要音频一停顿它就会打断。本模型改为对转写文本打分,预测用户是否已经说完,这样代理就能在用户可能继续说下去时保持等待,并在语义表明用户已说完时提交轮次。它能够等待的停顿场景(这些场景下 VAD 会直接打断)包括: 覆盖 9 个语言组——英语、Hinglish(hi-Latn)以及七种 Indic 语言(Hindi、Telugu、Tamil、Marathi、Bengali、Gujarati、Punjabi)——基于 MultiWOZ 风格对话、TOP 风格槽位以及合成的续说/前缀负样本训练。 注意:LiveKit 的 Turn Detector v1 现在提供基于音频的轮次检测(在 eot-bench 上、300 ms 时为 9.9% 的误打断率);本模型仅处理文本,适合基于 STT 转写文本的技术栈。 模型变体 产物 文件 大小(约) 说明 ONNX(发布用) model.onnx ~2.0 GB fp32 计算图——阈值正是基于该图校准的。输出张量为 prob。 PyTorch model.safetensors ~2.0 GB 微调后的 Qwen2ForCausalLM 权重以及 eou_head.* 张量。运行时推理使用 ONNX。 各语言阈值存储在 languages.json 中,包含各语言的 safe 和 balanced 配置。阈值基于 fp32 分数校准;ONNX 图与校准分数的偏差在 1e-6 以内。 config.json / generation_config.json:作用与 livekit/turn-detector 模型卡相同,但取值描述的是 Qwen2.5-0.5B-Instruct(model_type: qwen2,hidden_size: 896)——与 LiveKit 的多语言模型相同的基座和取值。bos_token_id / eos_token_id 为 Qwen 聊天 token(151643 / 151645)。 ONNX 输入输出与 livekit/turn-detector 一致:输入 input_ids,输出每个位置的 prob——使用最后一个位置。 工作原理 该模型处理的是来自语音转文本(STT)系统的转写文本,而非原始音频。 文本预处理 模型在推理前会应用 LiveKit 风格的多语言文本归一化: 架构与训练 基座模型 从 Qwen/Qwen2.5-0.5B-Instruct 微调而来,选择它是因为它在该任务上具备较强的多语言性能,同时支持低延迟的 CPU 推理,并在最后一个 token 的隐藏状态上接了一个小型标量分类头。 校准 阈值在验证集的 wb_clean 切片上使用 fp32 分数进行调优: 各语言阈值在该误打断预算约束下最大化响应速度。 量化与导出 训练好的 checkpoint 被导出为 fp32 ONNX 图(model.onnx),用于仅 CPU 的 ONNX Runtime 推理——阈值正是基于该图校准的。fp32 图保留了完整的轮次结束判别能力。 支持的语言 模型支持 9 个语言组。STT 提供方会报告检测到的语言,用于选择相应的各语言阈值。 运行时先精确匹配类 BCP-47 语言标签,再匹配第一个连字符之前的部分(因此 te-IN → te)。 基准测试 检测准确率 TPR 在每个语言的 balanced 阈值下测量;TNR 在一个共享工作点(阈值 0.86)下、基于完整验证集测量(见表格下方说明)。 平均 TPR(≥4 词):跨语言 91.3%。各语言在 wb_clean 验证切片上的 AUC 范围为 0.954–0.988(均值 0.967)。 注意:两列使用不同的工作点——TPR 使用各语言校准后的 balanced 阈值,TNR 使用共享的 0.86 阈值。请分别解读这两列。 用法

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →