返回资讯中心
外部精选
软件工程
#开发者实时流

开源工具VoxaDub发布:本地AI视频配音可保留原说话人音色

来源标题:Show HN: VoxaDub – Open-source AI video dubbing with speaker-aware voices

VoxaDub 是一款开源、本地优先的 AI 视频配音工具,能在把视频翻译成其他语言时保留原说话人的音色。它用 Whisper/WhisperX 做转写对齐、Community-1 识别说话人、Hy-MT2 翻译、VoxCPM2 生成音频,并可根据译文所需时长调整配音节奏。模型配置完成后可完全本地运行,无需外部翻译或 TTS API,另提供实验性的 YouTube 直播配音 Chrome 扩展。

Hacker News 最新kadirb4rut2026/11/10 · 7 天前5 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

大家好,HN 的朋友们,我一直在做一个叫 VoxaDub 的项目:这是一个开源的本地优先 AI 配音工具,可以把视频翻译成其他语言,同时保留说话者原本的声音。翻译时的一个主要问题是,要确保译文长度与目标语言中的语音时长匹配。即使时间上只有细微差异,也会导致配音不自然。当原视频中有多个说话者时,情况会更加复杂。我搭建了一套流程:用 Whisper/WhisperX 转写并对齐音频,用 Community-1 识别说话者,用 Hy-MT2 做上下文翻译,再用 VoxCPM2 生成能区分说话者的音频。VoxaDub 的主要特色是,能够根据音频可用的朗读时长来改进翻译,把时间变化限制在一定范围内,并分析是否存在任何时序问题。另外还有一个实验性的实时配音功能,通过 Chrome 扩展对 YouTube 视频和直播流进行实时配音。该功能正在积极开发中,尚未达到生产可用状态。主要项目在模型配置完成后完全在本地运行,不需要外部的翻译或 TTS API。可选通过 Colab 和 Modal 使用 GPU。很高兴看到这个项目最近被收录到 OpenBMB 官方 VoxCPM GitHub 仓库的 Ecosystem & Community 部分(PR #389)。虽然这只是一个社区项目列表,但看到这一进展还是很高兴。README 中有英语到西班牙语、日语和土耳其语配音的真实示例。源视频、实现方式说明以及任何限制也都在其中。该项目采用 MIT 许可证,可在 GitHub 上找到。我非常希望收到关于翻译时序、说话者一致性以及简化本地配置方面的技术反馈。还有很多改进空间,任何想法都非常欢迎!

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →