
Adventists.ai 发布开源全双工语音模型 Sophon-Realtime v1
来源标题:Sophon-Realtime v1
Adventists.ai 推出开源全双工语音模型家族 Sophon-Realtime v1,采用 Apache-2.0 许可,能识别语气并以带语气的方式回应。该模型在用户说话时全程聆听,用户一停即接话,被打断时立即停止。官方推荐 Tag 构建,并提供在线试用与 GitHub 代码。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
Like 65 Follow Adventists.ai 29 Any-to-Any Chinese English sophon-realtime full-duplex speech-to-speech voice-agent paralinguistics expressive-speech duplexjev arxiv: 2609.21967 License: apache-2.0 Model card Files Files and versions xet Community Copy to bucket Three builds: which one? Highlights Quick start (Tag) Live mode: a drop-in for OpenAI GPT-Live Benchmark details Conversation: VoiceBench (official evaluators, gpt-4o-mini judge) Spoken reasoning: Big Bench Audio Tool calling: Full-Duplex-Bench v3 Hearing tone: paralinguistic understanding Speaking with tone: NVV-SuperBench How it works Fine-tuning Files License Contact 一个开放的全双工语音模型家族,能听懂你的语气,也能用语气说话。Adventists AI · Apache-2.0 · 推荐:Tag · Flash · 在线试用 · GitHub
与它对话就像和人打电话:你说话时它一直在听,你一停下来它就接话,你一插话它立刻停下。它能听出你说话的方式(犹豫、强调、讽刺、笑声、叹息),并用自己的语气回应:该笑的时候笑,该叹气的时候叹气,该清嗓子的时候清嗓子。
这里是 Sophon-Realtime v1 家族的主页。三个版本共用一个大脑(同一个 32B 模型负责听、判断何时该自己说话,并写出回复);它们的区别只在于回复如何变成声音。建议从 Tag 开始。
三个版本:选哪个? Tag(推荐) Flash E2E(研究预览) 如何发声 大脑用声音标签写出回复;由表达性语音模型演绎这些标签 同样的带标签回复,由更轻、更快的语音模型说出 32B 模型内部自带一个 talker,不需要单独的语音模型 最适合 表达性语音:陪伴、角色、演示 速度与规模:客服、车载、单 GPU 多用户 端到端表达性语音研究 非语言声音(NVV-SuperBench,中文 / 英文) 0.86 / 0.80 0.77 / 0.63 0.77 / 0.60 首段音频,单用户 ~0.6 s 0.31 s ~1 s 每 80 GB GPU 用户数(推荐) 16 40 4–5 GPU 数量 1 1 2 部署 vLLM-Omni,一条命令 vLLM-Omni,一条命令 自研引擎 想要语音有“演技”就选 Tag;最看重延迟和单 GPU 用户数就选 Flash。两者 API 相同,之后可以随时切换。 pip install sophon-realtime # Python 3.12, Linux, CUDA sophon-realtime serve # 首次运行会下载 Tag 权重(约 42 GB),然后在 8000 端口提供服务 或者使用一键脚本(隔离环境): git clone https://github.com/adventists-ai/sophon-realtime && cd sophon-realtime/tag bash install.sh # venv + vLLM-Omni + 插件,并下载 Tag 权重(约 42 GB) GPU=0 PORT=8000 bash start.sh # 首次启动 15–20 分钟,之后 5–8 分钟 python client_example.py --wav my_question.wav --lang en --voice ryan_en API:ws://HOST:8000/v1/realtime(全双工:轮流说话、打断、附和)和 POST /v1/chat/completions(输入音频,输出文本 + 音频)。
Flash 的用法相同;参见 Flash 页面。如果只想试试,可以在 ModelScope Studio 里直接和它对话。 Live mode:OpenAI GPT-Live 的即插即用替代 GitHub 仓库中的 live/ 是一个网关,在 Tag 或 Flash 引擎前面说 OpenAI GPT-Live 协议:GPT-Live 客户端只需改 URL 和 key 就能切换过来。声音仍由 Sophon 提供;当请求需要查询或执行操作时,它会先说一句简短的“Let me check that”,把任务交给你的后端,再用自己的话把结果说出来。更大的模型也可以负责后台:配合 DeepSeek V4 Pro,Big Bench Audio 从 81.2 提升到约 83。
要启动它,在用一键脚本启动好 Tag 或 Flash 引擎后,再运行一条命令: cd sophon-realtime/live && BUILD=tag PORT=8000 LIVE_PORT=8780 bash start_live.sh # GPT-Live 客户端:ws://HOST:8780/v1/live/sessions Benchmark details Conversation:VoiceBench(官方评测器,gpt-4o-mini 评判) model full-duplex open weights overall GPT-4o-Audio — — 86.8 Sophon-Realtime v1 ✅ ✅ 82.8 GPT-4o-mini-Audio — — 82.8 MiniCPM-o 4.5 ✅ ✅ 76.1 MiniCPM-o 2.6 ✅ ✅ 71.2 Freeze-Omni ✅ ✅ 55.2 NemotronLabs VoiceChat ✅ ✅ 55.1 PersonaPlex ✅ ✅ 30.6 Moshi ✅ ✅ 29.5 AlpacaEval 使用 199 题标准子集。其他分数来自 VoiceBench 排行榜以及 NemotronLabs VoiceChat 论文(arXiv:2609.21967)的表 3;其中 MiniCPM-o 4.5 的分数来自独立评测。 Spoken reasoning:Big Bench Audio 1,000 道口语推理题,按模型实际说出的内容评分。 Sophon:自行运行,口语回答转写后由 gpt-4.1 评判。其他:Artificial Analysis 排行榜。 Tool calling:Full-Duplex-Bench v3 带多步工具调用的不流畅真实人类语音。100 个任务,由 GPT-4o 评判。 Sophon:多次运行中的最佳结果。其他:Full-Duplex-Bench v3 官方结果。 Hearing tone:副语言理解 Sophon-Realtime 用 DuplexJev 来听。这些基准测试情绪、讽刺、重音和语调。 Speaking with tone:NVV-SuperBench 检查回复中该有的笑声、咳嗽、叹息和呼吸声是否真的出现在音频里。官方脚本,每类 50 条,由 Gemini 3 Flash 评判;F1 越高越好。 三个版本说的是同样的带标签回复文本;只有声音不同。 How it works 持续聆听。每次停顿处,同一个模型用一个 token 判断你是说完了、还在说、在附和,还是在思考。 提前起草,准时开口。回复从你的第一个停顿开始起草,在模型判定轮到自己时立刻放出。如果你继续说,草稿会在你听到之前被丢弃。 写的是怎么说,而不只是说什么。大脑会标出哪里该笑、叹气、呼吸、咳嗽或强调某个词;Tag 和 Flash 会演绎这些标记,绝不会把它们读出来。 文本快半步,语音同步跟上。文本和语音一起流式输出,因此每条回复都有转写,便于审计、工具调用和更大的后端模型使用。 记住你实际听到的内容。历史记录保留双方的真实音频。当你打断时,只保留你听到的那部分。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。