
Claude Code 插件可在本地 GPU 上生成带旁白的讲解视频
来源标题:A Claude Code plugin that makes narrated explainer videos on your own GPU
一个 Claude Code 插件能在用户自己的 GPU 上生成带旁白的讲解视频:脚本、配音、音乐、动画场景、剪辑和封面全部本地完成。配音用 OmniVoice,音乐用 MusicGen,场景由 HyperFrames 渲染 HTML/SVG/GSAP,封面经 ComfyUI 用 SDXL 生成,无需为语音、音乐或视频 API 付费。安装方式为在 Claude Code 中添加插件市场并安装 video-studio。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
用你自己的 GPU 制作带旁白的讲解视频,由 Claude Code 来指挥。
快速开始 ·
你能得到什么 ·
为什么用本地 ·
工作原理 ·
环境配置 ·
葡萄牙语版
脚本、配音、音乐、动画场景、合成、加速版和封面,全部在你的机器上完成。配音用 OmniVoice,音乐用
MusicGen,场景用 HTML/SVG/GSAP 编写、由 HyperFrames 渲染,封面用 SDXL 经
ComfyUI 生成。不需要为任何语音、音乐或视频 API 付费。
用它做的示例:《Your mind under terms of use》,13 分钟,讲神经技术(Computers and Society 课程作业,
UFES)。先用巴西葡萄牙语制作,再用这套流水线配音成英语。完整代码在
examples/your-mind/。
点击播放器观看 1080p 版本(716 MB),或轻量版 26 MB。视频简介
和章节见 release;葡萄牙语原版
有单独的 release。
把技能作为 Claude Code 插件安装:
claude plugin marketplace add lewislf/claude-code-video-studio
claude plugin install video-studio@claude-code-video-studio
然后用自然语言提出需求即可。以下是一些可用的提示词:
narrated-video 技能知道各个步骤;场景交给子代理处理,并附上 studio/AGENT.md 的简报;ai-cover 技能
生成缩略图。机器仍需完成下面的环境配置。
每个视频输出一个 MP4,旁白叠在低音量的背景音乐上,并带一条细进度条;
一个加速版(默认 1.35 倍)和一个轻量的手机版;
声音从参考音频克隆,可用 OmniVoice 支持的任意语言,每句生成 3 个版本,由 whisper 挑出
最清晰的一个;
场景与词精确对齐:动画在语音说出那个词的瞬间触发;
打补丁:重做单个场景(patch.py)或整段音频(swap_audio.py),无需重建其余部分;
配音:在同一时间轴上换成新语言,并生成 .srt 字幕(examples/your-mind/dub.py,示例视频就是这样变成
英语的);
YouTube 标题、简介和章节,以及一张 1280x720 的封面。
为什么用本地
同类项目,按其 README 所述(2026 年 11 月):
脚本仍然由 Claude Code 生成,所以你需要一个 Claude 套餐。之后的一切都跑在你的 GPU 上。
一个视频就是一个包含 script.py 的文件夹。脚本是唯一的源头:配音、每个场景的时间点和合成全都来自它。
SCENES = [
("sky", "The sky", [
("Look up on a clear day. The sky is blue.", 0.5, {"a": "sky"}),
("But sunlight is white.", 1.4, {"a": "prism"}),
]),
每个片段(朗读文本、停顿、画面)都会变成一个时长与语音精确一致的剪辑。场景是返回 HTML 的 Python 函数;
word("sky", 0, "blue") 给出语音说出“blue”的瞬间,动画就在那里触发。
script.py ──> tts.py ──> assets/voice/.wav + durations.json ──> transcribe.py ──> words/.json
│ │
└──────────> scenes/<group>/build_.py <───────────┘
│ scenes.py render
music.py ──> assets/music.mp3 ──> assemble.py <── assets/clips/.mp4
│
progress_bar.sh ──> deliver.sh ──> renders/v1-bar-1.35x.mp4 (+ mobile)
旁白语言由 script.py 中的 LANG 决定(ISO 代码,默认 "en")。OmniVoice 支持的任何语言都可以;示例
视频是 pt-BR。声音从参考音频克隆,参考音频的口音会被继承,所以参考音频必须使用
旁白的语言。studio/voices/ 里有八个用 OmniVoice 声音设计生成的英语参考音频(美国深男声和英国深男声、
美国年长男声、美国低女声,各两个版本)和一个葡萄牙语参考(deep_narrator)。不设置 VOICE 时,英语使用
en_deep_us_b,其他语言使用 deep_narrator;设置 VOICE = "en_deep_uk_a" 可选另一个,或指向你自己的音频。
cp -r template /videos/my-video && cd /.venvs/studio/bin/python # the env from Setup
$PY $ST/tts.py generate && $PY $ST/tts.py pick # voice, 3 takes per sentence, keeps the one whisper understands best
python3 $ST/transcribe.py # timing of each word
$PY $ST/music.py # music
python3 $ST/scenes.py render g1 # scenes of group g1 -> clips
python3 $ST/assemble.py # renders/v1.mp4
$ST/progress_bar.sh v1 v1-bar && $ST/deliver.sh v1-bar # progress bar and 1.35x version
文件夹
内容
studio/
流水线(配音、词、音乐、场景、合成、打补丁、交付)和场景引擎
template/
可复制的最小 20 秒项目
skills/
供 Claude Code 使用的 narrated-video 和 ai-cover
examples/your-mind/
UFES 视频的英语版:72 个场景、脚本、配音、简报。渲染需要素材(配音、文章页面、预告片),这些未包含在仓库中
环境配置
NVIDIA GPU(在 8 GB RTX 5070 上测试)、带 systemd-run 的 Linux(脚本会设置内存上限)、ffmpeg、Node 22+(用于
npx hyperframes@0.8.185)。配音、词时间点和音乐共用一个 Python 3.11 环境:
python3.11 -m venv ~/.venvs/studio
~/.venvs/studio/bin/pip install torch torchaudio torchvision --index-url https://download.pytorch.org/whl/cu128
~/.venvs/studio/bin/pip install "omnivoice @ git+https://github.com/debpalash/VoiceStudio@73b83768bdc02dd7068c5c2fefcfa0530fa622e4" /videos/my-video
ST=/claude-code-video-studio/studio; PY=
faster-whisper transformers accelerate soundfile librosa
该环境约占用 9 GB。已从头测试通过:torch 2.11(cu128)、固定 commit 的 VoiceStudio、faster-whisper
1.2.1 和 transformers 5.22;模板视频可端到端渲染。请从 PyTorch 源同时安装 torchvision 和
torch:pip 为 omnivoice 拉取的版本与 cu128 构建不匹配,会导致导入失败。OmniVoice 和 MusicGen
的权重会在首次运行时从 Hugging Face 下载。封面需要 ComfyUI 和 SDXL base(见 skills/ai-cover/SKILL.md)。
如安装了 taskline,会显示进度。
一切都在你的机器上运行。插件不向任何地方发送数据:没有遥测,也没有自己的 API 调用。它会下载:
这些技能会在视频自己的文件夹内,用 python3、ffmpeg 和 systemd-run 运行 studio/ 中的脚本,
ai-cover 技能则与 127.0.0.1 上的 ComfyUI 服务器通信。
这里的代码是 MIT 许可,但模型有自己的条款,它们决定了你能用视频做什么:
配音和音乐由 AI 生成;请在视频简介中说明这一点。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。