从DDPM到score-based generative models再到Consistency Models的介绍

本文将深入探讨从DDPM（Diffusion Probabilistic Models）到Score-based Generative Models再到Consistency Models的发展历程，以及它们在人工智能领域的应用。我们来看看DDPM。 DDPM（Diffusion Probabilistic Models），全称为扩散概率模型，是一种生成模型，通过逐步“扩散”数据的噪声来学习数据的分布。扩散模型的前向过程是逐步添加噪声，而逆向过程则是从噪声中恢复原始数据。在逆向过程中，DDPM利用贝叶斯法则和均值、方差的计算，来逐步减小噪声，最终生成与训练数据相似的新样本。 Score-based Generative Models是另一种基于随机微分方程（SDE）的生成模型。这些模型的核心在于score函数，它表示数据分布的概率梯度。在训练过程中，模型通过score matching来优化score函数。SDE允许模型在不同噪声级别上操作，提供了更多的灵活性。在DDPM中，使用的是Variance Preserving (VP) SDEs的离散化形式。通过数值方法，如Euler-Maruyama、Milstein方法或stochastic Runge-Kutta方法，可以求解逆向SDE以生成样本。此外，probability flow ODE技术可以将SDE转化为ODE，同时保持其边缘分布不变。 Consistency Models是这一领域的最新进展，它们专注于单步生成和零样本数据编辑。Consistency Models的关键特性是自我一致性，即同一轨迹上的点应映射回相同的初始点。为了训练这些模型，提出了两种策略： 1. Consistency Distillation（CD）依赖于预训练的扩散模型和数值ODE求解器，生成PF ODE轨迹上的相邻点对。通过最小化这些点对之间的输出差异，可以将扩散模型的知识蒸馏到一致性模型中。 2. Consistency Training（CT）则不需要预训练的扩散模型，可以直接独立训练一致性模型。这种方法使一致性模型成为一种独立的生成模型，其内部一致性函数保证了模型生成的连续性和稳定性。 总结来说，从DDPM到Score-based Generative Models再到Consistency Models，这些模型在理解和生成复杂数据方面不断进化，为人工智能领域提供了更强大、更灵活的工具。无论是数据生成、图像编辑还是其他应用，这些模型都展现了巨大的潜力，并且随着研究的深入，未来有望实现更多创新和突破。