Black Forest Labs 联训图像视频音频训练 FLUX 3,团队详解背后的取舍
来源标题:Why FLUX 3 Trains on Images, Video and Sound — Andreas Blattmann & Dustin Podell, Black Forest Labs
Black Forest Labs 将图像、视频和音频放在一起训练 FLUX 3,Andreas Blattmann 与 Dustin Podell 在访谈中解释了这一选择的理由。他们回顾了 FLUX 从早期 latent diffusion 到 Kontext 训练数据的决策,并谈到扩散与自回归之间的权衡。Dustin 还提到一个意外的用法:有人用 FLUX 修复老照片给家人看。
以下正文由 AI 翻译自 Latent Space(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
一个模型通过观看视频并聆听其中的声音,能对世界学到什么?Black Forest Labs 将图像、视频和音频放在一起训练 FLUX 3。Andreas Blattmann 和 Dustin Podell 做客 swyx 的节目,解释其中的原因。移动的镜头能揭示物体背面的样子。声音则提供了关于某件事发生在何时的第二条线索。视频超分模型必须在时间维度上保持细节,否则画面就会闪烁。
我们梳理 FLUX 背后的种种决策,从早期的 latent diffusion 工作,到 Kontext 背后的训练数据,再到 diffusion 与 autoregression 之间的取舍。最后,Dustin 分享了一个他始料未及的用途:人们用 FLUX 修复老照片,并把修复结果展示给家人。
本期节目由 Deepgram 赞助。试试用 Deepgram 构建语音 agent。
节目笔记
- BFL 解释了静态图像、移动镜头和声音在训练过程中各自贡献了什么。FLUX 3 发布与研究概览
- 观看并聆听同时生成视频和声音的结果。FLUX 3 视频演示
- 了解实验室如何教模型在按请求做出修改的同时,保留图像的其他部分。FLUX Kontext 示例
- Andreas Blattmann 是 Stable Diffusion 的共同创作者,也是其背后 latent diffusion 方法的共同发明人。嘉宾简介 · 原始研究
- Dustin Podell 领导了 FLUX Kontext,并且是 SDXL 的第一作者。Dustin 的项目贡献 · FLUX Kontext · SDXL
- 第一篇 Latent Space 文章正是随着 Stable Diffusion 的发布而诞生的。Multiverse, not Metaverse
章节 0:00 主持人介绍 3:39 冷开场 4:23 Black Forest 的根源 9:23 Dustin 的历程 17:04 视觉智能 27:38 深入 SDXL 33:59 学习运动 39:57 Flow matching 46:57 创立 BFL 50:36 Deepgram 赞助广告 51:43 FLUX 的早期用例 54:58 用 Kontext 进行编辑 1:03:15 训练数据 1:07:32 测试一次编辑 1:13:12 Autoregression 1:20:50 世界动作模型 1:30:08 2027 年的机器人技术 1:32:16 谁在使用 FLUX?
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。