51-34 DALLE2 结合预训练CLIP和扩散模型实现图像生成

今天要分享的论文是OpenAI于2022年4月出品的DALLE2，全名Hierarchical Text-Conditional Image Generation with CLIP Latents。该工作是在CLIP和GLIDE基础之上完成。

很早之前写过一篇CLIP论文精读，上篇博客讲了AE、VAE、VQ-VAE、DDPM、LDM知识。其中在生成环节，还有Classifier Guidance和Classifier-Free Guidance扩散模型的说法。Guidance是条件扩散模型在推理采样的时候，引入一种干预指导，使得生成结果能够更加符合人类意图。GLIDE论文提供的Classifier-free Guidance方法克服了DDPM等扩散模型Classifier Guidance的缺点。Classifier-free Guidance改变了模型输入的内容，除了条件输入外（随机高斯噪声、指导信息）还有无条件采样输入。扩散模型得到有条件和无条件输入后，用前者监督后者，指导训练。最后反向扩散做生成时，使用无条件生成，也能达到类似有条件生成效果。Classifier-free Guidance最直接的做法是在采样过程中，对提供的条件输入做随机dropout。

由于文章提及很多工程技巧，在第二章末尾，把DALLE2训练过程、推理过程重新梳理了一遍。

Abstract

像CLIP这样的对比模型已被证明可以学习捕捉图像语义和风格的鲁棒表示。为了利用这些表示进行图像生成，我们提出了一个两阶段模型：一个先验，它在给定文本描述情况下生成CLIP图像嵌入；一个解码器，它以图像嵌入为条件生成图像。我们表明，显式生成图像表示提高了图像多样性，并在照片真实感和说明相似性方面损失最小。以图像表示为条件的解