牛人总结的GANs的笔记2

**第一章 初步了解 GANs** 生成对抗网络（Generative Adversarial Networks，简称GANs）是由Ian Goodfellow等人在2014年提出的一种深度学习框架，主要用于生成逼真的新样本。其核心思想是通过两个神经网络模型之间的对抗游戏来训练生成器（Generator）和判别器（Discriminator）。 1. **生成模型与判别模型** - **生成器（Generator）**: 生成器的目标是学习从随机噪声中生成与训练数据相似的新样本。它尝试模拟真实数据分布，将随机噪声输入转化为似真的数据。 - **判别器（Discriminator）**: 判别器的任务是对输入样本进行分类，判断其是否来自真实数据集。在训练过程中，判别器试图区分生成器产生的假样本和真实样本。 2. **对抗网络思想** GANs的工作原理可以看作是一种零和游戏。生成器尝试欺骗判别器，使其无法分辨真实与虚假样本，而判别器则努力提高区分能力。这两个模型在训练过程中互相促进，达到共同进步的效果。 3. **详细实现过程** - **前向传播阶段**: 生成器首先接收随机噪声作为输入，通过一系列变换生成样本，然后这些样本与真实数据一起被送入判别器。判别器对所有样本进行评估，预测它们的真实性。 - **反向传播阶段**: 判别器的预测结果用于计算损失函数，接着进行反向传播更新判别器的权重。随后，利用判别器的反馈信息，更新生成器的权重，使其能生成更接近真实数据的样本。 **第二章 GANs 的理论与提升** 1. **GANs 相关理论** GANs的基本理论是通过最小化生成器与真实数据分布之间的差异，使得生成器能够模仿真实数据的复杂性。然而，原始的GANs在训练稳定性、模式塌陷等问题上存在挑战。 2. **基于Div的改进** - **GANs并不完美**: 原始GANs可能会遇到训练不稳定、生成多样性不足以及模式塌陷等问题。 - **fGAN**：为了深入理解GANs的理论，fGAN提出了使用各种度量（如Jensen-Shannon散度， Wasserstein距离等）替代原始的交叉熵损失，以改进训练过程和生成质量。 - **JS Div不是最佳的Div**: Jensen-Shannon散度在某些情况下可能不是一个理想的度量，因为它可能导致梯度消失或爆炸问题。 - **LSGAN（Least Squares GAN）**: 为了解决这些问题，LSGAN采用了平方误差损失函数，提供更平滑的梯度信号，从而改善了训练稳定性和生成效果。 GANs家族还包括许多其他变种，如DCGAN（Deep Convolutional GAN）、Wasserstein GAN (WGAN)、CGAN (Conditional GAN)、InfoGAN (Information Maximizing GAN)等，它们分别针对不同的问题进行了优化和改进。这些变种展示了GANs在图像生成、视频预测、文本到图像合成、音频生成等领域的广泛应用。随着研究的不断深入，GANs的理论与实践都在持续发展，为人工智能和计算机视觉带来了新的突破。