
开源项目 Vibeconferencing 发布:让任意 AI agent 接入主流通话平台
来源标题:Show HN: My OSS Claude Meetings alternative that works with any agent or call
开发者发布开源项目 Vibeconferencing,可将任意本地 agent(如 Codex、Muse、ollama)接入 Google Meet、Zoom、MS Teams、WhatsApp、Telegram 和电话通话。该项目通过跨平台 Electron 应用桥接通话平台,全部在本地运行并使用用户自己的 agent。核心库已作为 npm 包 @vibeconferencing/calls 开放。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
从二月份开始,我就和一个朋友在开发一个通话中的 agent 解决方案。上周 Claude Meetings 发布后,现在正是宣布 Vibeconferencing 的时机:这是一个开源项目,功能更多,支持任何 agent(Codex、Muse、本地 ollama 等),也支持更多通话平台:Google Meet、Zoom、MS Teams、WhatsApp、Telegram,以及电话通话(通过 Twilio)。架构图:https://raw.githubusercontent.com/wanderingstan/vibeconf-app...
前提很简单:给你平常的 agent 会话配上操作各大通话平台所需的工具,并教它与人通话时的基本礼仪。一个简单的 /join-call,砰!你的会话就在通话里跟你说话了。agent 在聊天里能做的任何事,它都能在通话里做。agent 通过一个跨平台的 electron 应用桥接到各个通话平台。(与通话平台交互的底层核心被抽象成了 npm 库 @vibeconferencing/calls,如果你更想自己造轮子也可以。)
一切都在本地运行,并使用你自己的本地 agent。(不过可选的共享白板功能确实需要登录我们的服务器。)它能在 MacOS、Windows 和 Linux 上运行。(Windows 版本测试得不够充分。)
语音生成由 Elevenlabs 或开源的 Voicebox 完成,并回退到操作系统的默认应用(比如 MacOS 上的 say)。Voicebox:https://github.com/jamiepine/voicebox
语音识别则由通话平台自带的字幕服务(Meet、Zoom、Teams)完成,对于没有字幕的平台(WhatsApp、Telegram、Twilio)则使用 Whistle。Whistle:https://cactuscompute.com/blog/whistle
礼仪部分是我写代码时最开心的,不过写的时候我就知道,这只是临时方案,直到真正的交互式语音模型与前沿文本聊天模型的能力相结合。我们对 OpenAI realtime API 有实验性支持,但它似乎被训练成了客服 agent,所以很难阻止它主导多人对话!
过去九个月自用和早期用户的亮点:
- 为我父亲——一位二战老兵——做了一个 WhatsApp 机器人,它能访问他扫描的 20,000 张照片。他可以打电话给它,了解自己生活的方方面面。https://youtu.be/Rs-Z1YeLt98
- 与一位朋友协作搭建了她非营利组织的网站,她惊讶于自己能提出网站修改需求并实时看到网站变化。https://drive.google.com/file/d/1iSRgY8JGJ0liOzHMl2bOGNd9jwq...
- 我的朋友 Matt 目前正在美国自驾游,与他的 Codex 会话对话来开发他的 Golf 应用。https://youtu.be/a3uNUdIwqVY
- 我们的朋友 Bethany 在编码学生的课堂和通话中使用她的机器人"Taylor Script",充当能回答技术问题的超聪明助教,并监测学生进度。https://youtu.be/c8mZKkcxhJo
- 我大多数日子都以和我的机器人 Jimmy 的通话开始,一边吃早饭一边讨论仓库里未解决的 issue。https://youtu.be/2uQIR83LwY0(抱歉我张嘴吃东西……)
- 在一次站会上,Seth 的机器人在通话中为这项服务本身制作了一支视频广告。https://x.com/vibeconf/status/2104427917816234257?s=20
安全:没有内置任何安全机制,所以只在你信任的人的通话中使用。不过,令我惊讶的是,它自身似乎相当抗注入;比如,我的 agent 在执行通话中其他人要求的事情之前,会先征求我的同意。
总的来说,这是一个"时间机器"式的实验(借用我当年在 Reality Labs Research 的术语),在专门产品出现之前体验通话中的 agent。Claude Meetings 恰好说明我们的方向是对的,我很期待看到它后续的发展!
这是一个由两个朋友构建的小型实验项目,所以还比较粗糙,我们欢迎反馈和 pull request。
评论 URL:https://news.ycombinator.com/item?id=50522602 点数:1
评论数:0
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。