返回资讯中心
外部精选
软件工程
#开发者实时流

Claude Code 插件可在本地 GPU 上生成带旁白的讲解视频

来源标题:A Claude Code plugin that makes narrated explainer videos on your own GPU

一个 Claude Code 插件能在用户自己的 GPU 上生成带旁白的讲解视频:脚本、配音、音乐、动画场景、剪辑和封面全部本地完成。配音用 OmniVoice,音乐用 MusicGen,场景由 HyperFrames 渲染 HTML/SVG/GSAP,封面经 ComfyUI 用 SDXL 生成,无需为语音、音乐或视频 API 付费。安装方式为在 Claude Code 中添加插件市场并安装 video-studio。

Hacker News 最新lewiszzz2026/11/11 · 6 天前15 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

用你自己的 GPU 制作带旁白的讲解视频,由 Claude Code 来指挥。 快速开始 · 你能得到什么 · 为什么用本地 · 工作原理 · 环境配置 · 葡萄牙语版 脚本、配音、音乐、动画场景、合成、加速版和封面,全部在你的机器上完成。配音用 OmniVoice,音乐用 MusicGen,场景用 HTML/SVG/GSAP 编写、由 HyperFrames 渲染,封面用 SDXL 经 ComfyUI 生成。不需要为任何语音、音乐或视频 API 付费。 用它做的示例:《Your mind under terms of use》,13 分钟,讲神经技术(Computers and Society 课程作业, UFES)。先用巴西葡萄牙语制作,再用这套流水线配音成英语。完整代码在 examples/your-mind/。 点击播放器观看 1080p 版本(716 MB),或轻量版 26 MB。视频简介 和章节见 release;葡萄牙语原版 有单独的 release。 把技能作为 Claude Code 插件安装: claude plugin marketplace add lewislf/claude-code-video-studio claude plugin install video-studio@claude-code-video-studio 然后用自然语言提出需求即可。以下是一些可用的提示词: narrated-video 技能知道各个步骤;场景交给子代理处理,并附上 studio/AGENT.md 的简报;ai-cover 技能 生成缩略图。机器仍需完成下面的环境配置。 每个视频输出一个 MP4,旁白叠在低音量的背景音乐上,并带一条细进度条; 一个加速版(默认 1.35 倍)和一个轻量的手机版; 声音从参考音频克隆,可用 OmniVoice 支持的任意语言,每句生成 3 个版本,由 whisper 挑出 最清晰的一个; 场景与词精确对齐:动画在语音说出那个词的瞬间触发; 打补丁:重做单个场景(patch.py)或整段音频(swap_audio.py),无需重建其余部分; 配音:在同一时间轴上换成新语言,并生成 .srt 字幕(examples/your-mind/dub.py,示例视频就是这样变成 英语的); YouTube 标题、简介和章节,以及一张 1280x720 的封面。 为什么用本地 同类项目,按其 README 所述(2026 年 11 月): 脚本仍然由 Claude Code 生成,所以你需要一个 Claude 套餐。之后的一切都跑在你的 GPU 上。 一个视频就是一个包含 script.py 的文件夹。脚本是唯一的源头:配音、每个场景的时间点和合成全都来自它。 SCENES = [ ("sky", "The sky", [ ("Look up on a clear day. The sky is blue.", 0.5, {"a": "sky"}), ("But sunlight is white.", 1.4, {"a": "prism"}), ]), 每个片段(朗读文本、停顿、画面)都会变成一个时长与语音精确一致的剪辑。场景是返回 HTML 的 Python 函数; word("sky", 0, "blue") 给出语音说出“blue”的瞬间,动画就在那里触发。 script.py ──> tts.py ──> assets/voice/.wav + durations.json ──> transcribe.py ──> words/.json │ │ └──────────> scenes/<group>/build_.py <───────────┘ │ scenes.py render music.py ──> assets/music.mp3 ──> assemble.py <── assets/clips/.mp4 │ progress_bar.sh ──> deliver.sh ──> renders/v1-bar-1.35x.mp4 (+ mobile) 旁白语言由 script.py 中的 LANG 决定(ISO 代码,默认 "en")。OmniVoice 支持的任何语言都可以;示例 视频是 pt-BR。声音从参考音频克隆,参考音频的口音会被继承,所以参考音频必须使用 旁白的语言。studio/voices/ 里有八个用 OmniVoice 声音设计生成的英语参考音频(美国深男声和英国深男声、 美国年长男声、美国低女声,各两个版本)和一个葡萄牙语参考(deep_narrator)。不设置 VOICE 时,英语使用 en_deep_us_b,其他语言使用 deep_narrator;设置 VOICE = "en_deep_uk_a" 可选另一个,或指向你自己的音频。 cp -r template /videos/my-video && cd /videos/my-video ST=/claude-code-video-studio/studio; PY=/.venvs/studio/bin/python # the env from Setup $PY $ST/tts.py generate && $PY $ST/tts.py pick # voice, 3 takes per sentence, keeps the one whisper understands best python3 $ST/transcribe.py # timing of each word $PY $ST/music.py # music python3 $ST/scenes.py render g1 # scenes of group g1 -> clips python3 $ST/assemble.py # renders/v1.mp4 $ST/progress_bar.sh v1 v1-bar && $ST/deliver.sh v1-bar # progress bar and 1.35x version 文件夹 内容 studio/ 流水线(配音、词、音乐、场景、合成、打补丁、交付)和场景引擎 template/ 可复制的最小 20 秒项目 skills/ 供 Claude Code 使用的 narrated-video 和 ai-cover examples/your-mind/ UFES 视频的英语版:72 个场景、脚本、配音、简报。渲染需要素材(配音、文章页面、预告片),这些未包含在仓库中 环境配置 NVIDIA GPU(在 8 GB RTX 5070 上测试)、带 systemd-run 的 Linux(脚本会设置内存上限)、ffmpeg、Node 22+(用于 npx hyperframes@0.8.185)。配音、词时间点和音乐共用一个 Python 3.11 环境: python3.11 -m venv ~/.venvs/studio ~/.venvs/studio/bin/pip install torch torchaudio torchvision --index-url https://download.pytorch.org/whl/cu128 ~/.venvs/studio/bin/pip install "omnivoice @ git+https://github.com/debpalash/VoiceStudio@73b83768bdc02dd7068c5c2fefcfa0530fa622e4"
faster-whisper transformers accelerate soundfile librosa 该环境约占用 9 GB。已从头测试通过:torch 2.11(cu128)、固定 commit 的 VoiceStudio、faster-whisper 1.2.1 和 transformers 5.22;模板视频可端到端渲染。请从 PyTorch 源同时安装 torchvision 和 torch:pip 为 omnivoice 拉取的版本与 cu128 构建不匹配,会导致导入失败。OmniVoice 和 MusicGen 的权重会在首次运行时从 Hugging Face 下载。封面需要 ComfyUI 和 SDXL base(见 skills/ai-cover/SKILL.md)。 如安装了 taskline,会显示进度。 一切都在你的机器上运行。插件不向任何地方发送数据:没有遥测,也没有自己的 API 调用。它会下载: 这些技能会在视频自己的文件夹内,用 python3、ffmpeg 和 systemd-run 运行 studio/ 中的脚本, ai-cover 技能则与 127.0.0.1 上的 ComfyUI 服务器通信。 这里的代码是 MIT 许可,但模型有自己的条款,它们决定了你能用视频做什么: 配音和音乐由 AI 生成;请在视频简介中说明这一点。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →