去噪得分匹配-使用xtext和xtend实现域特定语言(第二版)-中文-第四章

528 第十八章 直面配分函数 练模型给测试集图像去噪时，比率匹配的效果要优于 SML、伪似然和GSM。 类似于伪似然估计，比率匹配对每个数据点都需要 n 个 p̃ 的估计，因此每次更 新的计算代价大约比 SML 的计算代价高出 n 倍。 与伪似然估计一样，我们可以认为比率匹配减小了所有只有一个变量不同于训 练样本的状态的概率。由于比率匹配特别适用于二值数据，这意味着在与数据的汉 明距离为 1 内的所有状态上，比率匹配都是有效的。 比率匹配还可以作为处理高维稀疏数据（例如词计数向量）的基础。这类稀疏 数据对基于MCMC的方法提出了挑战，因为以密集格式表示数据是非常消耗计算资 源的，而只有在模型学会表示数据分布的稀疏性之后，MCMC采样才会产生稀疏值。 Dauphin and Bengio (2013) 设计了比率匹配的无偏随机近似来解决这个问题。该近 似只估计随机选择的目标子集，不需要模型生成完整的样本。 读者可以参考 Marlin and de Freitas (2011) 了解比率匹配渐近效率的理论分 析，。 18.5 去噪得分匹配 某些情况下，我们希望拟合以下分布来正则化得分匹配 psmoothed(x) = ∫ pdata(y)q(x | y)dy (18.27) 而不是拟合真实分布 pdata。分布 q(x | y) 是一个损坏过程，通常在形成 x 的过程中 会向 y 中添加少量噪声。 去噪得分匹配非常有用，因为在实践中，通常我们不能获取真实的 pdata，而只 能得到其样本确定的经验分布。给定足够容量，任何一致估计都会使 pmodel 成为一 组以训练点为中心的Dirac 分布。考虑在第 5.4.5节介绍的渐近一致性上的损失，通 过 q 来平滑有助于缓解这个问题。Kingma and LeCun (2010b) 介绍了平滑分布 q 为 正态分布噪声的正则化得分匹配。 回顾第 14.5.1节，有一些自编码器训练算法等价于得分匹配或去噪得分匹配。因 此，这些自编码器训练算法也是解决配分函数问题的一种方式。