Generative Modeling by Estimating Gradients of the Data Distribution
GENERATIVE MODELING BY ESTIMATING GRADIENTS OF THE DATA DISTRIBUTION
在机器学习领域中，生成模型（Generative Modeling）有着广泛的应用。生成模型的目标是学习数据分布，以生成新的、类似于训练数据的样本。最近，生成模型的研究取得了飞速的进展，主要有两个方向：基于似然的方法（Likelihood-based methods）和生成对抗网络（Generative Adversarial Networks，GAN）。
生成模型的应用
生成模型有很多实际应用，例如：
* 生成高质量的图像（Image Generation）
* 合成实时语音和音乐片段（Speech and Music Synthesis）
* 半监督学习（Semi-supervised Learning）
* 检测对抗样本和异常数据（Anomaly Detection）
* 想象学习（Imitation Learning）
* 强化学习中的探索状态（Exploration in Reinforcement Learning）
基于似然的方法
基于似然的方法是通过最大化似然函数来学习数据分布。这些方法包括变分推断、似然估计和 Score Matching。Score Matching 是一种基于似然的方法，通过估计数据分布的梯度来学习生成模型。
生成对抗网络（GAN）
生成对抗网络（GAN）是通过对抗训练来学习生成模型。GAN 由两个部分组成：生成器（Generator）和判别器（Discriminator）。生成器的目标是生成新的样本，而判别器的目标是区分真实样本和生成样本。通过对抗训练，生成器和判别器不断改进，直到生成器生成的样本无法被判别器区分。
本文方法
本文提出了一个新的生成模型，通过估计数据分布的梯度来生成样本。我们使用 Langevin 动力学来生成样本，并使用 Score Matching 来估计数据分布的梯度。为了解决梯度估计的问题，我们使用高斯噪声来 perturb 数据，并联合估计不同的噪声水平对应的梯度。我们的方法允许灵活的模型架构，不需要在训练期间进行采样或使用对抗方法，并且提供了一个可以用于模型比较的学习目标。
实验结果
我们的模型在 MNIST、CelebA 和 CIFAR-10 数据集上产生了与 GAN 相当的样本质量，并在 CIFAR-10 数据集上达到了新的最高 inception 分数 8.87。此外，我们还证明了我们的模型可以学习有效的表示通过图像修复实验。
本文提出的生成模型可以学习数据分布的梯度，并生成高质量的样本。我们的方法具有灵活的模型架构和灵活的学习目标，能够在多种应用场景中发挥作用。
