学习笔记—《EM算法》

EM算法是一种迭代方法，主要用于含有隐变量的概率模型的参数估计。其核心思想是通过迭代地求解两个步骤来不断逼近参数的最大似然估计，这两个步骤分别是期望步（E步）和最大化步（M步）。 首先来看Jensen不等式，它是EM算法推导的基础。Jensen不等式指出，如果f是实数上的凸函数，X是随机变量，则有E[f(X)] ≥ f(E[X])。特别地，对于严格凸函数，等号成立的条件是X为常量。这个性质在EM算法的推导过程中被用来构建一个关于参数θ的下界（E步），并在此基础上对θ进行优化（M步）。 EM算法的关键在于处理含有隐变量的概率模型。在没有隐变量的情况下，可以直接通过最大似然法估计模型参数。但当模型中引入隐变量后，就无法直接求解似然函数的最大值。EM算法通过引入隐变量的分布来简化问题，将其转化为可通过迭代方法求解的问题。 E步的关键在于计算每个样本隐含变量z的条件概率分布，即Q函数。Q函数通常被定义为隐变量的后验分布，其满足隐变量概率分布的基本条件，即对于每一个样本i，Q函数Q(z(i)|θ)关于隐变量z的积分（或求和）为1。在E步中，利用当前参数估计θ，计算Q函数，为下一轮迭代中的M步准备。 M步则是通过最大化Q函数与模型联合概率分布的乘积的对数，来更新参数θ。这个步骤相当于在给定隐变量z的条件下，对模型参数进行最大似然估计。M步保证了似然函数的值不下降，从而使得整个算法的收敛性质得到保证。 EM算法的收敛性通常通过观察参数θ在连续迭代中的变化来判断。EM算法保证了每次迭代后似然函数值不会下降，即L(θ(t+1)) ≥ L(θ(t))。这说明EM算法能够稳定地收敛到局部最优解。不过，需要注意的是，EM算法可能收敛到全局最优解，也可能仅仅收敛到一个局部最优解，这取决于初始参数的选择和模型的复杂性。 在EM算法中，Jensen不等式的应用至关重要。EM算法中的每次迭代都利用了Jensen不等式来构造一个关于θ的下界，然后通过优化这个下界来逼近θ的真实最大似然估计。在E步中，通过Jensen不等式，我们得到了关于θ的下界，而M步则是将这个下界转化为具体的参数更新公式，从而使得下界值随着迭代次数的增加不断上升，最终逼近真实的最大似然估计值。 总结EM算法的关键步骤，首先是初始化模型参数θ，然后进入循环： 1. E步：计算隐变量z的条件概率分布Q，作为下一轮迭代的基础。 2. M步：基于当前的Q函数，更新模型参数θ以最大化似然函数。 3. 判断算法是否收敛，如果未收敛，则返回E步继续迭代。 整个过程不断重复，直到收敛条件得到满足。EM算法的收敛性保证了我们最终能够找到一个稳定的最大似然估计值。尽管EM算法可能会遇到局部最优问题，但其简单性、普遍适用性和良好的收敛性质使得它在实际应用中非常受欢迎，特别是在处理含有隐变量的模型时。