返回资讯中心
外部精选
软件工程
#开发者实时流

教程在MNIST上实现RealNVP流模型与DDPM扩散模型并对比采样

来源标题:Flows and Diffusion Models on Digits

一篇教程在MNIST数据集上训练了精确似然的RealNVP流模型和小型DDPM扩散模型,并用DDIM在25步内完成采样。流模型比高斯基线每张图提升105.6 nats;扩散模型在6000张数字图上训练三个epoch后,0.007秒即可生成可辨认样本。作者指出,两类模型的核心区别在于把噪声转为结构的方向不同。

Hacker News 最新Anon842026/11/9 · 8 天前12 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

在第32篇文章中,我们搭建了生成式建模的机制:潜变量、似然,以及模型可以学习一个分布而非标签的思想。本文把这套机制用到MNIST上。我们先训练一个精确似然的RealNVP流模型,再训练一个小型DDPM扩散模型,并用DDIM以25步从后者采样。流模型比高斯基线每张图像好105.6 nats,其中nat是以自然对数计的信息单位,负对数似然越低越好。扩散模型在6000张数字图像上训练三个epoch,能在0.007秒内生成可辨认的样本。整篇文章的主线是一个想法:生成模型是一台把噪声变成结构的机器,而我们在这里构建的两个家族对这台机器该往哪个方向运行存在分歧。

数据集是MNIST,70,000张28×28像素的灰度图像,通过torchvision下载。数字图像小、在笔记本电脑上跑得快,并且仍然展现出我们关心的每一种行为。我们使用一个6000张图像的训练子集和一个1000张图像的测试子集,两者都以种子42抽取,因为对于几分钟就能跑完的训练来说,全集并不必要。

在训练任何东西之前,我们先看原始图像和元数据。标签计数从数字5的6313张到数字1的7877张,最频繁类别的基准率为0.1125,接近均匀,因此随机子集能保留每个类别。元数据没有缺失值,前一百张训练图像不含NaN像素,因此不需要插补。每张图像都是28×28单通道,这让模型可以使用固定的卷积形状。下面是其中五张:

像素强度直方图是塑造建模的关键发现。MNIST主要是黑色背景加明亮笔画,因此分布严重偏向零。这种偏斜正是我们在把像素送入流模型之前将其缩放到-1到1范围的原因,也是扩散过程中添加的噪声必须按比例缩放以匹配的原因。

我们还检查重复和训练/测试泄漏,泄漏指测试图像也出现在训练集中。训练图像重复数为零,泄漏候选也为零,因此1,000张留出测试图像保持干净。对比度最低的数字在原始0–255尺度上(缩放之前)像素标准差为41.9,这些是视觉上最难的案例,这就是为什么我们通过样本网格而非损失来评判这些案例。

这种缩放交给流模型的是一个仍然以暗色为主的-1到1分布,而流模型的任务是把它弯折成我们可以从中采样的东西。归一化流学习一个从数据到简单基础密度的可逆映射。精确似然为log p(x) = log p(z) + log |det J|,其中J是该映射的雅可比矩阵。RealNVP用耦合层构建该映射,每个耦合层用棋盘掩码分割图像,以另一半为条件变换其中一半,并让对数行列式保持廉价可算。同样的可逆性思想还有变体,它们放弃精确行列式以换取别的东西。Glow在其上加入可逆1×1卷积。PixelCNN以自回归方式建模像素,即从像素1到n−1预测像素n。基于能量的模型定义一个未归一化的能量,一个按合理性给图像打分的分数,但没有缩放到总和为一,它们需要采样来训练或生成。

耦合层就是全部诀窍,所以值得完整看一遍。掩码分割图像,一个小型卷积网络从被掩码的一半预测尺度和偏移,未掩码的一半由这些量变换。对数行列式就是尺度在被变换像素上的和。 def forward(self, x): x1 = x * self.mask st = self.net(x1) s = torch.tanh(st[:, 0:1]) * 2.0 t = st[:, 1:2] x2 = x * (1.0 - self.mask) y = x1 + (1.0 - self.mask) * (x2 * torch.exp(s) + t) logdet = (s * (1.0 - self.mask)).sum(dim=[1, 2, 3]) # exact log-determinant return y, logdet 我们堆叠六个这样的层,使用交替掩码,训练三个epoch。训练NLL在各epoch之间剧烈波动,从第1个epoch的每张图像572.4 nats到第2个epoch的-305.5,再到第3个epoch的-350.4,这主要是初始化造成的假象:未训练的尺度头使第1个epoch衡量的是我们从哪里开始,而不是模型。在测试集上,真正重要的数字是:普通高斯基线给出每张图像1083.1 nats,RealNVP给出977.5。流模型比基线好105.6 nats。这个差距就是精确似然的全部教训:模型可度量地优于噪声,而且我们可以用一个数字说明这一点。

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →