返回资讯中心
外部精选
ai-models
#AI 工程

Black Forest Labs谈FLUX 3:用像素、运动和声音训练视觉智能

来源标题:Building Visual Intelligence — Andreas Blattmann & Dustin Podell, Black Forest Labs

Black Forest Labs的Andreas Blattmann与Dustin Podell主张从像素、运动和声音中学习AGI,并据此将FLUX 3放在三种信号上联合训练。Andreas以接球为例说明,人无需写出轨迹就能预判,静态图只能显示球的位置,视频呈现运动过程,声音则补充撞击时刻。BFL认为这是其训练视觉智能的核心论据。

Latent Spaceswyx .ai2026/11/16 · 昨天11 分钟阅读

以下正文由 AI 翻译自 Latent Space(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

Stable Diffusion 是我辞职的原因。Dustin Podell 告诉我,它发布的那天他也递交了辞呈。不过,当我们和他以及 Andreas Blattmann 坐下来交谈时,我有了另一个问题。他们已经在 Black Forest Labs 建立了一项图像业务。为什么要花算力去教同一个模型理解声音?第一篇 Latent Space 文章

Andreas 举了一个你可以单手尝试的例子。如果有人向你扔来一个球,你的手在球到达之前就已经开始移动了。你可以在无法写出轨迹的情况下做到这一点。当他谈论构建视觉智能时,他指的就是这种知识。一张静态图能告诉你球在哪里。一段视频能告诉你它是怎么到那里的。撞击的声音能告诉你它何时撞到了某物,即使摄像机没有拍到接触的瞬间。这就是 BFL 主张在三种信号上联合训练 FLUX 3 的理由。BFL 的 FLUX 3 发布

《奔跑的马》是我们在开场中展示的 FLUX 3 示例之一。音频示例值得打开声音试听。FLUX 3 视频

移动的摄像机教会你什么

假设摄像机从一个人面前开始,绕着他平移。在某个时刻,模型必须向你呈现他后脑勺的样子。Andreas 认为,普通的二维视频包含了大量关于物体从其他角度看起来是什么样的证据。这并不能解决模型是否“理解物理”的问题——这一点我们来回讨论过。但它确实给了你一个比“某一帧看起来是否逼真”好得多的测试。

本期节目后段有一个很好的工程示例。独立地对一段视频的每一帧进行锐化,每一帧可能看起来都很棒。但按下播放键,额外的细节可能会闪烁,因为放大器每次做出的决定略有不同。BFL 的视频放大器源自同一个 FLUX 3 骨干网络。即使用户想要的只是一个更高分辨率的文件,时间一致性也很重要。

什么值得花训练算力?

我向他们提出的问题之一是,自回归是否正在接管图像生成。Andreas 给了另一方应有的认可。自回归模型可以一次性从训练样本的所有 token 中学习。在扩散方面,团队可以将漫长的采样过程蒸馏到几步之内。哪种优势更重要,取决于你是在花钱训练模型,还是在等待图像生成完成。

Dustin 早期的 Kontext 实验是一个很好的例子,说明了他们如何决定在哪里投资。他怀疑一个能画戴帽子的狗的图像模型已经知道了一些关于帽子该放在哪里的知识。他和一位同事收集了一小批标注了关系的照片。几个小时的训练运行就让模型学会了把 logo 放到衬衫上。效果很粗糙,但足以拿到下一次 offsite 上展示。随后团队在数据和模型上花了几个月时间。FLUX Kontext 示例

我最喜欢的用户故事出现在接近结尾处。人们把老旧、退化的家庭照片输入 FLUX,修复它们,然后把照片给家人看。Dustin 说他之前没有预料到这种用法。在讨论了跨编辑和跨帧保持某人身份之后,这是一个很好的例子,说明如果你做对了,真正会注意到的人是谁。

本期节目由 Deepgram 赞助。试用 Deepgram 语音代理

节目笔记

  • BFL 解释了静态图像、移动摄像机和配乐在训练中各自贡献了什么。FLUX 3 发布与研究概述
  • 观看并聆听同时生成视频和声音的结果。FLUX 3 视频演示
  • 了解实验室如何教模型在保留图像其余部分的同时做出请求的更改。FLUX Kontext 示例
  • Andreas Blattmann 联合创建了 Stable Diffusion,并共同发明了其背后的潜在扩散方法。嘉宾简介 · 原始研究
  • Dustin Podell 领导了 FLUX Kontext,并且是 SDXL 的主要作者。Dustin 的项目贡献 · FLUX Kontext · SDXL
  • 第一篇 Latent Space 文章源于 Stable Diffusion 的发布。多元宇宙,而非元宇宙

章节

0:00 主持人介绍 3:39 冷开场 4:23 Black Forest 的根源 9:23 Dustin 的历程 17:04 视觉智能 27:38 深入 SDXL 33:59 学习运动 39:57 流匹配 46:57 创立 BFL 50:36 Deepgram 赞助插播 51:43 FLUX 的早期用例 54:58 使用 Kontext 进行编辑 1:03:15 训练数据 1:07:32 测试一次编辑 1:13:12 自回归 1:20:50 世界动作模型 1:30:08 2027 年的机器人技术 1:32:16 谁在使用 FLUX?

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →