51-34 DALLE2 结合预训练CLIP和扩散模型实现图像生成
今天要分享的论文是OpenAI于2022年4月出品的DALLE2，全名Hierarchical Text-Conditional Image Generation with CLIP Latents。该工作是在CLIP和GLIDE基础之上完成。
（图片来源网络，侵删）
很早之前写过一篇CLIP论文精读，上篇博客讲了AE、VAE、VQ-VAE、DDPM、LDM知识。其中在生成环节，还有Classifier Guidance和Classifier-Free Guidance扩散模型的说法。Guidance是条件扩散模型在推理采样的时候，引入一种干预指导，使得生成结果能够更加符合人类意图。GLIDE论文提供的Classifier-free Guidance方法克服了DDPM等扩散模型Classifier Guidance的缺点。Classifier-free Guidance改变了模型输入的内容，除了条件输入外（随机高斯噪声、指导信息）还有无条件采样输入。扩散模型得到有条件和无条件输入后，用前者监督后者，指导训练。最后反向扩散做生成时，使用无条件生成，也能达到类似有条件生成效果。Classifier-free Guidance最直接的做法是在采样过程中，对提供的条件输入做随机dropout。
由于文章提及很多工程技巧，在第二章末尾，把DALLE2训练过程、推理过程重新梳理了一遍。
Abstract
像CLIP这样的对比模型已被证明可以学习捕捉图像语义和风格的鲁棒表示。为了利用这些表示进行图像生成，我们提出了一个两阶段模型：一个先验，它在给定文本描述情况下生成CLIP图像嵌入；一个解码器，它以图像嵌入为条件生成图像。我们表明，显式生成图像表示提高了图像多样性，并在照片真实感和说明相似性方面损失最小。以图像表示为条件的解
免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理! 部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理! 图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库和百度，360，搜狗等多加搜索引擎自动关键词搜索配图，如有侵权的图片，请第一时间联系我们，邮箱：ciyunidc@ciyunshuju.com。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!
