返回资讯中心
外部精选
ai-models
#AI 工程

Black Forest Labs 联训图像视频音频训练 FLUX 3,团队详解背后的取舍

来源标题:Why FLUX 3 Trains on Images, Video and Sound — Andreas Blattmann & Dustin Podell, Black Forest Labs

Black Forest Labs 将图像、视频和音频放在一起训练 FLUX 3,Andreas Blattmann 与 Dustin Podell 在访谈中解释了这一选择的理由。他们回顾了 FLUX 从早期 latent diffusion 到 Kontext 训练数据的决策,并谈到扩散与自回归之间的权衡。Dustin 还提到一个意外的用法:有人用 FLUX 修复老照片给家人看。

Latent SpaceLatent.Space2026/11/16 · 昨天5 分钟阅读

以下正文由 AI 翻译自 Latent Space(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

一个模型通过观看视频并聆听其中的声音,能对世界学到什么?Black Forest Labs 将图像、视频和音频放在一起训练 FLUX 3。Andreas Blattmann 和 Dustin Podell 做客 swyx 的节目,解释其中的原因。移动的镜头能揭示物体背面的样子。声音则提供了关于某件事发生在何时的第二条线索。视频超分模型必须在时间维度上保持细节,否则画面就会闪烁。

我们梳理 FLUX 背后的种种决策,从早期的 latent diffusion 工作,到 Kontext 背后的训练数据,再到 diffusion 与 autoregression 之间的取舍。最后,Dustin 分享了一个他始料未及的用途:人们用 FLUX 修复老照片,并把修复结果展示给家人。

本期节目由 Deepgram 赞助。试试用 Deepgram 构建语音 agent。

节目笔记

  • BFL 解释了静态图像、移动镜头和声音在训练过程中各自贡献了什么。FLUX 3 发布与研究概览
  • 观看并聆听同时生成视频和声音的结果。FLUX 3 视频演示
  • 了解实验室如何教模型在按请求做出修改的同时,保留图像的其他部分。FLUX Kontext 示例
  • Andreas Blattmann 是 Stable Diffusion 的共同创作者,也是其背后 latent diffusion 方法的共同发明人。嘉宾简介 · 原始研究
  • Dustin Podell 领导了 FLUX Kontext,并且是 SDXL 的第一作者。Dustin 的项目贡献 · FLUX Kontext · SDXL
  • 第一篇 Latent Space 文章正是随着 Stable Diffusion 的发布而诞生的。Multiverse, not Metaverse

章节 0:00 主持人介绍 3:39 冷开场 4:23 Black Forest 的根源 9:23 Dustin 的历程 17:04 视觉智能 27:38 深入 SDXL 33:59 学习运动 39:57 Flow matching 46:57 创立 BFL 50:36 Deepgram 赞助广告 51:43 FLUX 的早期用例 54:58 用 Kontext 进行编辑 1:03:15 训练数据 1:07:32 测试一次编辑 1:13:12 Autoregression 1:20:50 世界动作模型 1:30:08 2027 年的机器人技术 1:32:16 谁在使用 FLUX?

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →