
语音输入在AI交互中仍有很大使用空间
来源标题:Voice Is Underutilized
语音是与AI沟通的有效方式,既可作为输入输出通道,也可用于来回对话。作者在2026年增加了语音输入输出的使用量,收集了大量用例:语音适合对编码智能体口述需求,也便于在打字不便时操作;语音备忘和会议转录还能捕捉对话中的上下文。其团队持续转录设计同步会,工程师可在转录会之间用智能体快速迭代设计。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
语音是与 AI 交流的一种有用媒介,既可作为输入/输出通道,也可用于来回对话。2026 年,我一直在增加语音 I/O 的使用量,并积累了不少用例。
当然,语音非常适合对着 coding agent 东拉西扯。很多时候,那种事务性的“只是和 agent 聊聊”的对话式来回,说起来比打字更容易。我偶尔还会手腕敏感,打字困难——现在有了 STT 和 computer-use,这就不成问题了。
语音也很适合捕捉上下文。每部手机都有语音备忘录应用;大多数会议软件现在都支持转录。对话中存在大量环境上下文,如果你能(在获得同意的情况下)捕捉下来,就会有巨大的下游价值。例如:我的团队一直在持续转录设计同步会。在转录过的设计同步会之间穿插几次单独的 agent 会话,能让工程师快速迭代设计,而不必做“坐下来花几个小时写文档”那套老把戏。
今年早些时候,我的团队有一次线下聚会,我们把几个人聚到一间屋子里,敲定了长期计划。那些对话被完整转录下来,对我今年晚些时候完成的许多工作起到了关键作用。把上下文以文本形式保存下来,相当于把那些头脑风暴会话“冻结”了,让我在几个月后重新激活它们——那时我又有了周期去思考讨论过的问题。话虽如此,显然有些东西出于这样那样的原因你并不想被记录下来。实践中,我们更常后悔的是没转录某场会议,而不是反过来。
语音输入还让你能够写下想法或捕捉那些原本没时间处理的事情。比如,我现在经常在通勤回家时对着手机上的 Voice Memos 应用絮叨我正在思考的一个问题,附带几个粗略的解决方案草图——纯粹的意识流。然后到家后,我把音频转录出来,给一个 agent 设置好 /goal 让它过夜运行,回来时发现( surprisingly often)问题已经完全解决了。 Models:本地 STT 模型非常出色。我一直在使用 FluidVoice,搭配 NVIDIA 的 Parakeet 模型,准确率惊人。Claude/ChatGPT 擅长清理转录错误。Parakeet + FluidVoice + Claude Opus 清理,对我的用例来说几乎与 100% 准确率没有区别。
从今年年初开始,我一直在构建和调整一个个人每日简报“播客”,它聚合我关心的一堆信息源,并使用 text-to-speech 模型生成每日音频简报。
通常每天 10-20 分钟音频。我花了几个月调整,才让它完全符合我的喜好,现在质量一直很高。关键且最困难的部分,是让每日简报中出现哪些片段的“日程”具有足够的多样性,不至于听起来陈旧、花哨或公式化。
一句简单的“Claude,给我一份每日简报”几天后就会变得陈旧。这种事情要想持续有趣,你真的需要熵和新鲜感,以及持续更新/流式的上下文。 输出对于用 LLM 学习也很方便。今年早些时候,我搭建了一个以播客形式生成“explainer”的系统,通过被动音频消费,学到了不少关于航空、各种分布式系统主题以及其他感兴趣的领域的知识。 Models:在宣布弃用之前,我一直使用 GPT-4o mini TTS 作为我的“首选程序化输出语音模型”(RIP)。我现在换成了 Gemini 3.8 TTS,非常棒。它有富有表现力的声音,可通过 OpenRouter 使用,而且便宜。强烈推荐。 Claude、ChatGPT 和 Gemini 都有“实时”交互语音模式——你可以与模型进行对话式交谈,它可以响应并使用工具采取行动,等等。我使用交互模式的主要时间是在通勤途中。用语音模式来分诊任务、提出研究问题、迭代想法很有帮助。这就像把原本的死时间转化为可以富有成效的东西。 语音在在家里走动并捕捉需要发生的事情时也很方便。当你想起事情时,你可以让 AI 创建任务或日历条目,处理一堆行政琐事,而无需与手机交互。这就像拥有一个真正的、字面意义上的助手。 我最喜欢的语音交互模式模型是 Claude(尽管它不像 ChatGPT 那样是“原生”语音到语音模型)。不久前,Claude 语音模式增加了对使用 MCP 的支持,那是一个改变游戏规则的变化。1 我构建了一整套个人软件,从任务到笔记再到 flashcards,所有这些都可以通过 MCP 访问。通过语音使用 MCP 的能力意味着我可以使用实时语音模式来分诊或快速记录任务。 我也用它来复习 flashcards。由于我的 MCP 支持 flashcards,我可以让 Claude 向我提问,我必须给出答案,然后模型给我的答案评分并记录下来。在我看来,这严格优于普通的 Anki 应用。用 Anki,你可以快速翻卡片,“半骗自己”以为你 actually 知道答案。我注意到,口头说出答案会让潜意识作弊更难,也有助于记忆,因为强迫自己说出答案所调动的大脑部分,与单纯阅读和思考不同。 TL;DR:语音未被充分利用!它是一种自然的模态,而且在当下是“可编程的”。我建议至少试试“在通勤时我录制 Voice Memo 提示或与模型交谈关于
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。