
Brisvox 发布 Rust 实时语音代理引擎,支持电话与浏览器
来源标题:Show HN: Brisvox – a Rust engine for real-time voice agents, phone and browser
Brisvox 是一个用 Rust 编写的开源实时语音代理引擎,支持电话呼叫和浏览器会话,通话者可随时打断,单个容器内可运行数百路隔离通话。项目方称,在相同语音与语言服务商下,它在延迟、密度和正确性三方面均优于 Pipecat,其中 p95 语音到语音延迟仅 10–30 毫秒,而 Pipecat 约为 1.05–1.1 秒。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
一个用于实时语音 agent 的 Rust 引擎:在电话通话和浏览器会话中,呼叫者说话,agent 倾听、思考(由 LLM 完成,并调用工具)并作答,呼叫者随时可以打断。开源,单进程,每个容器可承载数百路隔离通话。 网站:brisvox.com · 安装 · 无需密钥试用 · 快速上手 · 对比 · 功能 · 面向 AI 编程 agent · 文档:the book · 讨论 · 许可证 目标是在使用相同语音与语言提供商的前提下,从三个维度上击败 Pipecat:延迟、密度和正确性。 两者采用相同的 SLO(p95 语音到语音最多 1110 ms:模拟提供商自身的 860 ms 加上 250 ms),各自在全新容器上运行三次,一次只跑一个系统,使用同一款 CPU(AMD EPYC 9655P;被云厂商调度到其他 CPU 上的部署已重新部署),容器限额在其自身样本中核对。在这些核心上,单路 Pipecat 通话就已经接近上限(单路通话时 p95 约为 1.05 到 1.1 秒,比提供商的下限高约 200 ms,而 brisvox 为 10 到 30 ms),因此它的 SLO 数值更多取决于每轮延迟,而不是负载。下一张图去掉延迟限制,展示每个系统在不失败的前提下能承载多少路通话: Pipecat(每个 vCPU 一个 worker 进程,每个进程都加载 Silero 和 Smart Turn)在 4 GB 内存下跑到 20 路通话时内存耗尽:worker 被杀,其通话中断。在 8 GB 下,三次运行中有两次在 20 路通话时丢失轮次(无响应);第三次撑住了 20 路,并在 30 路时达到 8 GB 上限,通话开始中断。可见多出来的核心和内存并没有抬高它的中位数。brisvox 受限于 CPU:容器资源翻倍后,通话数约为原来的 1.9 倍。 在系统耗尽 CPU 或内存之前,延迟一直保持在提供商的下限,之后会在一两步之内越过 SLO:真正有意义的数字,是这件事发生在哪里。 两个系统针对相同的真实提供商和模型运行了同一个 agent 文件(Deepgram nova-3、OpenRouter openai/gpt-6-luna,reasoning effort 设为 none,固定到 OpenRouter 的 openai 上游且不启用回退,并对每个流式响应都做了校验(Pipecat 被取消的请求从未报告过响应)、Deepgram Aura aura-2-thalia-en),5 路并发通话,每个系统 10 组、每组 10 轮,严格交替进行(b1 p1 b2 p2 ...),因此两者面对的是相同的提供商条件。LLM 提供商自身的波动仍与中位数差异相当(126 ms):p50 下 LLM 首 token 时间 brisvox 为 931 ms,Pipecat 为 889 ms。尾部的差异比中位数更大,因为在这里大约一半的轮次中 Pipecat 发出了第二次或第三次 LLM 请求(单路通话时是 30 轮中有 5 轮)。有一项设置并不对等:VAD 停止前名义上相同的 100 ms 静音,在 Pipecat 中是 3 个 Silero 窗口(96 ms),在 brisvox 中是 4 个(128 ms),因此 Pipecat 在每次轮次结束时大约早 32 ms 做出判断(在轮次确实结束时更快,这也可能是它多出那些话中轮次结束的原因);按阶段拆解、路由校验、这一不一致以及 早先的 Cartesia 运行结果,都在 docs/LATENCY.md 的「Live comparison with real providers」一节中。 容量与内存数据来自 2026-10-16/17 的云端运行:AMD EPYC 9655P(Zen 5)上的 Linux 容器,限额为 4 vCPU / 4 GB 和 8 vCPU / 8 GB,release 构建,一次只跑一个系统。每路通话都经过各系统自己的提供商客户端(brisvox 的 Rust 适配器;Pipecat 的 DeepgramSTTService、OpenAILLMService 和 DeepgramTTSService)连接到模拟提供商,这些模拟提供商通过 TLS 讲真实的 Deepgram 协议和 OpenAI 兼容协议,延迟固定(STT 在 300 ms 端点检测后 150 ms 给出最终结果,LLM 首 token 350 ms,TTS 首段音频 150 ms; bench/fake_providers),它们运行在各自的容器中,与负载生成器一样。因此这些数字包含了提供商客户端代码、TLS 和两个模型,但不含提供商自身的波动。Pipecat 一侧是 bench/pipecat_baseline:一个 Pipecat 1.12.0 bot,讲相同的 websocket 协议、使用相同的 agent 文件,由相同的客户端以相同的语音到语音定义来测量。brisvox 的准入控制在压测期间是关闭的;在生产环境中,它会在超出容量时拒绝新通话,而不是让正在运行的通话降级。LiveKit Agents 未参与本次运行。 内存是 PSS(proportional set size:被多个进程共享的页会在它们之间分摊)在服务器容器的所有进程上求和,取自其每 2 秒一次的 cgroup 采样。 同样的对比可以在本地运行:PROVIDERS=fakes MODELS=1 bench/capacity_linux.sh(使用相同限额的 Docker 容器)。Smart Turn 模型对内存带宽需求很高(每次分析约 200 MB 的内存流量),因此在内存带宽较小的台式机上,它可能先于 CPU 成为 brisvox 随核心数扩展的瓶颈;上面那台云主机不存在这个问题。 实时语音到语音的测试是在一台共享开发机上用 Windows、通过公共互联网进行的,耗时一个晚上(每个系统 100 轮,5 路并发通话,交替分组;Cartesia 的方案只允许 2 路并发生成,因此选用了 Aura 语音);绝对数值带有噪声。引擎开销是 Windows 上针对 mock 运行得出的。 每个数字都保存在 bench/results/ 下已提交的文件中(文件开头是生成它的命令);图表由 python3 scripts/gen_charts.py 从这些文件生成,并由质量门禁检查是否过期。定义和更多结果(负载模拟、推测、Windows 容量):见 the book 的 Benchmark results 和 docs/LATENCY.md。 brisvox vs LiveKit Agents vs Pipecat 表格有两类行。实测行来自本仓库自己的 benchmark harness(最后一列列出文件名;表格由这些文件生成);「not measured」表示本仓库目前还没有该系统的此类运行。文档行是各项目自己的文档和仓库所述内容,抓取于 2026-10-14,并非 benchmark;方括号中的标签是来源 id,列在 docs/research/frameworks-2026-10-14.md 中,其中每条事实都附有 URL,凡属推断或未明确说明的都做了标注。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。