
CutCraft:用 TSX 编写和编辑视频的 MIT 开源库
来源标题:Show HN: CutCraft – an MIT library for making and editing videos in TSX
CutCraft 发布,一个让开发者用 TSX 文件描述画面与台词、由库负责时间计算和浏览器内播放编辑导出的 MIT 开源视频编辑工具。它针对 LLM 擅长写代码、不擅长数学的特点,让模型只生成 TSX、算术交给库处理。修改时间轴会同步改动文件中的 token,并联动 b-roll 与标题。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
用代码做视频编辑。 LLM 擅长写代码,不擅长做算术,所以让模型写一个由词语和镜头组成的 TSX 文件,由 CutCraft 负责其中的 算术、在浏览器中播放、编辑并导出。 文档 · 示例 · 指南 · 参考 · 更新日志 export const schema = z.object({ product: z.string(), accent: z.string() }); export const defaults = { product: "Shed", accent: "#ff5a1f" }; export default function Video({ product, accent }: z.infer<typeof schema>) { return ( <Composition fps={30} width={1920} height={1080}>
<Track id="main"> <Clip id="hook" src="asset:founder" in="word:12" out="word:23.end" /> <Transition id="x1" type="crossfade" duration={0.4} /> <Clip id="broll" src="asset:product" in="shot:1" out="shot:1.end" fit="cover" /> </Track> <Track id="overlays"> <Title id="title" anchor="hook" at="word:14" duration={2.8} color={accent}>{product}</Title> </Track> <Track id="music" layout="free"> <Audio id="bed" src="asset:music" start={0} duration="fill" volume={0.35} duck={{ under: "main", to: 0.15 }} /> </Track> </Composition> ); 在时间轴上拖动 hook 的结尾,文件里就有一个 token 随之改变。B-roll 会跟着上移并排到它后面,标题仍然停在 它原本对齐的那个词上,音乐也依旧铺到结尾。接下来无论谁打开这个文件,是人还是模型,看到的剪辑就是一段普通的代码。 每一个都是 CutCraft 导出的简短 TSX 文件:由 three.js 和 Motion 驱动,由播放器在无头 Chrome 中绘制。可以在文件旁边直接查看它们。 语言模型擅长写代码,不擅长做算术。写成 8.43 秒的剪切点可能落在某个词的中间;写成 word:12 的剪切点则会准确落在那个词上。CutCraft 让文件直接表达它的含义(这个词、那个镜头),算术由它自己完成。 目标是既有桌面级编辑器的能力,又像 Premiere Pro 的时间轴那样以一个文件的形式存在:轨道、剪切、转场、 标题、字幕、声音、调色、抠像和导出,每一项都是一个模型可以编写、人可以拖动的元素。 文件里与时间轴相关的部分(轨道、片段、转场、字幕)使用带字面 id 的元素,这样编辑器的一次操作就能找到它触及的元素并只改一个值。你在上面绘制的任何内容都可以是自由代码:一个 <Layer> 可以承载你写的任何 React、CSS、canvas 或 three.js。 而且这一切都应该可以免费使用。播放器、能回写到文件的编辑器、逐帧精确的导出以及布局检查,都是一个基于视频构建的产品所需要的,它们应当处于一种不会给它带来任何成本的许可之下。 CutCraft 采用 MIT 许可:没有付费档位,没有许可证密钥,没有水印。与之最接近的项目都要求一些东西: Remotion 的许可证对公司设有付费档位,而 Diffusion Studio 的引擎在没有许可证密钥时会给每一帧打上水印。 基于其中任何一个构建,都会把那些条款带入用 CutCraft 制作的一切之中,所以它是从零开始编写的,构建于开放库之上(React、zod、three.js、Motion,以及 Mediabunny——后者采用 MPL-2.0,对其自身的文件保持如此)。 你不局限于内置的标题和图形。一个 <Layer> 可以接受任何 React 组件,带有 hooks、CSS 3D 变换、滤镜、混合模式、canvas 或 WebGL。<Three> 和 <Motion> 把 three.js 和 Motion 带到时间轴上: <Three id="cube" anchor="hook" at="word:14" duration={4} camera={{ position: [0, 0, 5], fov: 40 }} background="#101010" setup={({ scene, THREE }) => { const cube = new THREE.Mesh(new THREE.BoxGeometry(), new THREE.MeshNormalMaterial()); scene.add(cube); return ({ time }) => { cube.rotation.set(time * 0.6, time, 0); }; /> <Layer id="card" anchor="hook" at="word:20" duration={3}> <FlipCard front="Before" back="After" /> {/* your own component: useT() gives the time */} </Layer> 这一切都运行在视频的时钟上。向后拖动、跳转或以 2 倍速播放,three.js 场景、Motion 序列或 CSS 动画都会精确显示对应时间的那一帧。这些层仍然是时间轴元素,所以编辑器可以像对待其他元素一样移动、修剪它们,并把它们锚定到词语上;只有它们绘制的内容由你决定。 自由代码的细节见这里。 播放器绘制所有这一切,导出也是如此——导出在无头 Chrome 中逐帧运行真正的播放器,并带上相同的音轨 (导出)。 按词语和镜头剪切 一个片段的 in 和 out 指向转录文本中的某个词或摄像机的某个镜头,CutCraft 会在每一次修剪和速度变化中把它们换算成帧。按含义计时 <Clip id="hook" src="asset:founder" in="word:12" out="word:23.end" /> <Clip id="broll" src="asset:product" in="shot:1" out="shot:1.end" fit="cover" /> 标题落在说出它的那个词上 叠加层锚定到一个片段,并从它的某个词开始,所以当片段被修剪或拖动时,它也会移动。 标题和图形 <Title id="title" anchor="hook" at="word:14" duration={2.8} style="h1" animation={{ preset: "word-by-word" }}>Shed</Title> 字幕和声音 字幕来自转录文本,并跟随片段。音乐铺满整个视频,并在语音之下自动压低。 字幕和声音 <Captions id="captions" src="asset:founder" style={{ position: "bottom", size: 44 }} animation="karaoke" /> <Audio id="bed" src="asset:music" start={0} duration="fill" volume={0.35} duck={{ under: "main", to: 0.15 }} /> 转场 两个片段之间有十二种转场:交叉淡化、淡入淡出到黑与白、擦除、滑动、推挤、光圈、时钟擦除、百叶窗、胶片烧灼、 像素溶解和缩放。转场 <Transition id="x1" type="crossfade" duration={0.4} /> <Transition id="x2" type="iris" duration={0.8} params={{ sides: 5, star: 0.45, feather: 4 }} /> 调色、抠像和特效 三十三种特效,从曝光和曲线到色度键、区域模糊和辉光,按文件列出的顺序运行。 调色与分级、抠像、模糊与固定 <Clip id="interview" src="asset:interview"> <Effect id="expose" type="exposure" params={{ stops: 0.5 }} /> <Effect id="tone" type="curves" params={{ rgb: [[0, 0.03], [0.25, 0.22], [0.75, 0.8], [1, 1]] }} /> <Effect id="key" type="colorKey" params={{ color: "#18c43a", tolerance: 0.3, softness: 0.1, spill: 0.6 }} /> </Clip>(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。