论文解读之High-Resolution Image Synthesis with Latent Diffusion Models（Stable Diffusi

本文是Stable Diffusion等一系列扩散模子的里程碑，主要办理的问题是Diffusion模子在原始的像素空间中需要的计算资源过多的问题。
提炼本文创新如下：
一、隐空间（低维向量空间）

引入了一个与图像空间感知上等同的隐空间，利用自编码器举行隐空间和像素空间的变更，忽略了一些对于感知无关的信息，举行加噪去噪都是在这个空间中举行的。
因此，能够明显减少计算复杂度。如许做有几个利益：
1.制止高维度图像空间，可以在低维度空间（去除了一些高频特征）。
2.利用了U-Net的归纳偏好（即卷积操纵的局部性和平移等变性）

，对有空间结构的数据很有效，因此能够减少之前方法中会降低质量的压缩方法的需要。
3.得到了一个可以被用于通用目标的压缩模子，这种模子可以被用于训练一些下游的产生模子，比如单个图像的Clip生成。
一、
详细做法：

给定一个输入，利用编码器将输入图像的特征举行编码到一个按比例缩小的小空间，然后再用解码器还原其特征。

经事后续的验证，在这个潜伏空间上而不是原始图像的像素级空间上做效果会好很多。
1.所在的空间维度降低了，采样是在低维空间上举行的，可以在高分辨率图像上举行各种使命。
2.由于在低维度空间中，一些高频、偶然义的数据被忽略了，更加重要的语义数据被保留下来，肯定程度上保证了生成的图像的质量。
3.将这个自编码器也就是在隐空间和像素空间举行编码息争码的过程和整个模子的训练分开，自编码器不用跟随每个扩散模子举行训练，因此它是通用的。

因此，这个模式也被后续的Diffusion相沿
二、融合输入条件的方式（控制机制）：Cross-attention

简要来说，是将加入的条件利用编码器（该模态对应的conditioning）举行一个特征提取，提取后作为Cross-attention的KV后在潜伏空间上的原始图像在Unet的流程中举行Cross-attention操纵，以此来达到控制生成数据的目的。
终极加入控制条件后的丧失函数为：

是对输入举行条件特征限制的一个编码器
三、加噪去噪过程

为什么不直接弄一个能够产生猫图片的模子，而是去加噪声而且推测加上的噪声：由于推测噪声比直接生成图像的难度更低。

实际上噪声是通过很多步自己采样加上去的：

实际用Unet推测其每一步的加入的噪声，然后在这个去噪过程中将推测的每一步加入的噪声举行减去。
每一步将而其每一步加入的噪声是自己在一个正态分布的空间中采样的，这个是已知的，因此可以以这个丧失函数来举行训练。
四、自编码器

主要利用了两种矫正的措施——1.对学习的隐空间向量施加一个标准正态分布的小的KL处罚项，以防止在隐空间上的太过随机
2.在decoder上加了一个向量量化层
以此来保证压缩比例恰当而且能够取得较好的重建效果

总结

1.原始的扩散模子和潜伏扩散模子区别主要在于其去噪过程也就是模子去推测加入的噪声的空间差异
2.将原始的像素级空间的编码息争码的自编码器的训练和扩散模子分为两个阶段
3.加入了Cross-attention以灵活地加入控制信息来控制输入输出