7概率图模型2-EM算法1

期望最大化（Expectation-Maximization，简称EM）算法是一种用于处理含有隐变量的概率模型参数估计的迭代算法。在概率图模型中，EM算法被广泛应用于寻找最大似然估计（Maximum Likelihood Estimation，MLE）。在这个模型中，我们通常遇到的是“部分观察”或“不完全数据”的问题，即我们只能看到观测变量，而无法直接观测到影响观测的隐变量。 以三硬币模型为例，假设我们有三个不同偏好的硬币A、B和C，它们正面朝上的概率分别为π、p和q。每次投掷一个硬币，如果出现正面我们就选择1，反面则选择0。然而，我们只能看到最终的选择结果，无法知道是哪个硬币导致了这个结果。这就构成了我们的观测数据Y，而掷出硬币的具体结果Z则是隐变量。 在EM算法中，我们通过以下两个步骤来迭代更新参数估计： 1. E步（Expectation）：在当前参数θ的条件下，计算每个样本属于每个硬币的概率，即后验概率。对于第i次迭代，我们可以计算出给定观测数据Y时，每个样本来源于硬币B的概率μ。 2. M步（Maximization）：在E步得到的后验概率基础上，我们最大化似然函数来更新参数估计。对于三硬币模型，我们将分别更新π、p和q的估计值，使得在新估计的参数下，似然函数L(θ)最大。 EM算法的迭代会一直进行，直到满足停止条件，例如连续两次迭代参数变化的幅度小于某个阈值ε1，或者对数似然函数Q(θ, θ)(i)的增大幅度小于ε2。需要注意的是，EM算法的收敛性并不保证找到全局最优解，而是可能达到局部最优，因此初始参数的选择对最终结果有很大影响。 从Kullback-Leibler散度的角度来看，EM算法的每一步都是试图最小化观测数据的似然函数与完全数据的似然函数之间的KL散度，从而逐步提高似然函数的值。 总结来说，EM算法是解决含有隐变量的概率模型参数估计的一种有效方法，通过迭代的E步和M步不断优化参数估计，以达到最大似然估计的目标。在实际应用中，它广泛用于机器学习、统计推断和图形模型等领域。