返回资讯中心
外部精选
软件工程
#开发者实时流

扩散模型如何推动图像生成技术走向成熟

来源标题:How image generation got good (diffusion derivations)

图像生成在某种意义上已被"解决":给定任意数量的图像约束条件,模型能近乎精确地渲染指定部分,并合理补全其余内容。作者通过与GPT交流数日,梳理了扩散模型的推导过程,解释图像生成技术为何能变得如此出色。

Hacker News 最新01shuklabhay2026/11/17 · 昨天30 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

从某种程度上说,我们已经“解决”了图像生成问题(即,指定关于一张图像的任意数量的比特信息,它们会被几乎精确地渲染出来,其余部分则被合理地补全)。一段时间以来,我一直想知道图像生成是如何变得如此出色的,所以我花了几天时间与GPT交流,并写下了我学到的东西:)

随意“生成图像”是一个比听起来要困难得多的问题,主要因为可能性太多了。想象我们有一个全细节人脸图像的数据集 x0∈Rdx_0\in\mathbb{R}^dx0​∈Rd(对于一张 H×WH\times WH×W 的RGB图像,d=3HWd=3HWd=3HW),每张图像都配有一张同一张脸的粗略草图 y∈Rdy\in\mathbb{R}^dy∈Rd(大致头部轮廓、眼睛/鼻子位置、发型等)。给定成对的 (y,x0)(y,x_0)(y,x0​) 数据和连续的值域,显而易见的方法是回归:用L2(MSE)训练一个确定性模型 fθ:Rd→Rdf_\theta:\mathbb{R}^d\to\mathbb{R}^dfθ​:Rd→Rd,将每个 yyy 映射到单个 x^0=fθ(y)\hat x_0=f_\theta(y)x^0​=fθ​(y)。

然而,无论你的模型或数据集多大,这个模型几乎总是会生成模糊、褪色的人脸。从信息论的视角看,yyy 指定了关于 x0x_0x0​ 的一些比特,但不足以完全确定单个 x0x_0x0​(想象把 yyy 填充成某个 x0x_0x0​,然后让一根睫毛变长、加上胡茬,或者完全改变皮肤纹理)。每个 yyy 在图像空间上定义了一个多峰概率分布 p(x0∣y)p(x_0\mid y)p(x0​∣y)(相似的图像在图像空间中彼此接近,所以概率质量会聚集在每个合理的 x0x_0x0​ 周围的“峰”上),而产生 yyy 的那个 x0x_0x0​ 就是它的一个样本。在大型数据集上,相似的 yyy 会与截然不同的 x0x_0x0​ 配对,但像 fθf_\thetafθ​ 这样的神经网络在构造上(或至少在局部上)是Lipschitz连续的,所以相似的 yyy 必须产生相似的 x^0\hat x_0x^0​。那么 fθf_\thetafθ​ 如何解决冲突的 x0x_0x0​ 呢?L2隐含地将 p(x0∣y)p(x_0\mid y)p(x0​∣y) 视为单条钟形曲线(最小化L2 = 在以 x^0\hat x_0x^0​ 为中心的固定方差高斯下最大化似然),而任何分布的最佳固定方差钟形曲线都以它的均值为中心,这意味着 fθf_\thetafθ​ 学会了模式平均,或者说预测所有模式上的概率加权均值:fθ(y)≈E[x0∣y]f_\theta(y)\approx\mathbb{E}[x_0\mid y]fθ​(y)≈E[x0​∣y]。

为了生成高质量的图像,fθf_\thetafθ​ 必须选定单个合理的 x0x_0x0​(等价地说,p(x0∣y)p(x_0\mid y)p(x0​∣y) 的单个模式),但手(多峰的 p(x0∣y)p(x_0\mid y)p(x0​∣y))就是戴不进手套(单一固定方差高斯的L2)。如果我们改变学习目标呢?

GAN同时训练一个生成器 G:Rk→RdG:\mathbb{R}^k\to\mathbb{R}^dG:Rk→Rd,将 kkk 维噪声向量 zzz 转换为图像 x^0=G(z)\hat x_0=G(z)x^0​=G(z),以及一个判别器 D:Rd→[0,1]D:\mathbb{R}^d\to[0,1]D:Rd→[0,1],用来估计一张图像是真实的概率。理想的 DDD 会推动 GGG 生成多样的、落入 p(x0)p(x_0)p(x0​) 任何模式的 x^0\hat x_0x^0​。由于 GGG 唯一的多样性来源是 zzz,它学会了给 zzz 中的方向赋予“意义”;在生成时,采样 zzz 完全决定了 x^0\hat x_0x^0​,而 GGG 本质上是一个渲染器。不幸的是,对抗目标不稳定(持续的拉锯战)且无锚定(损失值无法说明质量,且在不同运行之间不可比较),所以 GGG 经常发生模式崩塌,并且无法可预测地扩展。

在离散的输出集合上,带有softmax头的模型会创建一个分布 pθp_\thetapθ​,而当 pθp_\thetapθ​ 匹配真实分布 ppp 时,期望交叉熵 Ex0∼p[−log⁡pθ(x0)]\mathbb{E}{x_0\sim p}\big[-\log p\theta(x_0)\big]Ex0​∼p​[−logpθ​(x0​)] 最小。然而,这要求我们将回归问题重新表述为分类:将 x0x_0x0​ 表示为 KKK 个值上的 LLL 个one-hot token的序列(例如,一个展平的离散自编码器瓶颈,其中token位置 ↔\leftrightarrow↔ 图像位置,token值 ↔\leftrightarrow↔ 该区域看起来像 KKK 种学习到的图块类型中的哪一种),并训练一个模型通过自回归NTP生成新的 x^0\hat x_0x^0​ 序列。对于渲染像素,扩散就是更胜一筹:AR图像只能和它们的 KKK 种图块类型一样精细,每次至少需要 LLL 次模型调用(L∝L\proptoL∝ 分辨率),并且必须遵循任意的从左上到右下的光栅顺序。话虽如此,自回归模型(LLM)已被证明对“文本到图像”中的“文本”部分极其有用。

直接回答我们的核心问题:图像生成之所以变好,是因为1. 找到了可行的归纳偏置(扩散),以及2. 在其中不断拉动高杠杆的杠杆(采样、扩展、条件化)。扩散不是与L2对抗,而是用几个巧妙的技巧来收窄 p(x0∣⋅)p(x_0\mid\cdot)p(x0​∣⋅) 的模式,直到 E[x0∣⋅]\mathbb{E}[x_0\mid\cdot]E[x0​∣⋅] 成为一个清晰、具体、高质量的 x^0\hat x_0x^0​。本文的其余部分讲述它如何工作,以及它如何从优秀走向卓越。

扩散概率模型(DPM)于2015年提出,通过迭代地向图像添加噪声并学习逆转该过程来建模 p(x0)p(x_0)p(x0​)。去噪扩散概率模型(DDPM)清理了它们的目标函数,使其能与GAN竞争。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →