算法面试-深度学习基础面试题整理-AIGC相关（2023.9.01）

1、stable diffusion和GAN哪个好？为什么 ？

• Stable diffusion是一种基于随机微分方程的生成方法，它通过逐步增加噪声来扰动原始图像，直到完全随机化。然后，它通过逐步减少噪声来恢复图像，同时使用一个神经网络来预测下一步的噪声分布。Stable Diffusion的优点是可以在连续的潜在空间中生成高质量的图像，而不需要对抗训练或GAN的损失函数。缺点是需要较长的采样时间和较大的模型容量。Stable Diffusion更适合需要高质量和连续性的图像生成任务。
• GAN是一种基于对抗训练的生成方法，它由一个生成器和一个判别器组成。生成器从一个随机向量中生成图像，判别器从真实数据和生成数据中区分真假。GAN的优点是可以在离散的像素空间中快速生成图像，而且可以通过不同的损失函数和正则化方法来改善生成质量和多样性。GAN的缺点是训练过程可能不稳定，导致模式崩溃或低质量的输出。而且GAN需要仔细调整超参数和损失函数来达到好的效果，这可能很耗时和困难。GAN更适合需要快速和多样性的图像生成任务。
• 总结如下：Stable diffusion：①训练过程稳定；②可以生成多样性的图像；③适用于图像修复、去噪等任务。④缺点：生成速度相对较慢；GAN：①能生成高质量的图像；②在某些任务上（如图像到图像翻译）表现优秀；③缺点：训练过程可能不稳定，生成的图像多样性不足。
• 两种方法的优劣取决于具体的应用场景。

  2、如何改善GAN的模式坍塌？

  模式坍塌是指生成器只能生成有限的或单一的模式，而不能覆盖数据集中的所有模式。这会导致生成的图像缺乏多样性和真实性。改善方法有：

  • 使用wasserstein距离代替JS散度，WGAN;
  • 在梯度上加上惩罚项,WGAN-GP;
  • 引入像素级别的损失，如L1, L2;
  • 引入编码器，将图像域逆向映射到Z域；
  • 引入unrolling loss,预测未来的对策；
  • 引入经验回放，向鉴别器显示旧的假样本
  • 使用多个GAN，为不同模式训练多个GANS;
  • 单边标签平滑，防止鉴别器过度自信。

    3、简述对AIGC的理解。

    AIGC泛指人工智能和计算机的图形计算两个相结合的领域，通过从人类提供的指令中提取和理解意图信息，并根据其知识和意图信息生成内容来实现的。包括了ChatGPT （文本到文本的对话模型）与 DALL-E-2（文本到图像的生成模型） ， Codex（文本到代码的生成模型） ，Dreamfusion （文本到3D图像）， Flamingo（图像到文本），Phenaki （文本到视频），AudioLM（文本到音频），Galactica（文本到科学文本），AlphaTensor（自动搜索高性能的矩阵运算逻辑）等模型。AIGC 的目标是使内容创建过程更加高效和易于访问，从而能够以更快的速度制作高质量的内容。为了能够训练这些巨大的模型，必须拥有强大的计算能力和一支技术精湛、经验丰富的数据科学和数据工程团队。AIGC是未来各行各业不可避免的一个趋势，并且将持续智能化。