学习笔记—《EM算法》
4星 · 超过85%的资源 需积分: 10 125 浏览量
2013-12-18
10:48:48
上传
评论 4
收藏 542KB PDF 举报 
EM
算法
EM 算法（Expectation-maximization algorithm，最大期望算法，又译期望最大
化算法），是 Dempster，Laind，Rubin 于 1977 年发表的《Maximum Likelihood
from Incomplete Data via EM Algorithm》中 提出，是一种求参数极大似然估计的方
法，它可以从非完整数据集中对参数进行最大似然估计，是一种非常简单实用的
学习算法。
下面主要介绍 EM 的整个推导过程。
1.
Jensen
不等式
由于 EM 推到过程用到了 Jensen 不等式，所以先回顾一下 Jensen 不等式。
设 f 是定义域为实数的函数，如果对于所有的实数 x，
''
() 0
fx
≥
，那么 f 是
凸函数。当 x 是向量时，如果其 hessian 矩阵 H 是半正定的，
H0≥
，那么 f 是凸
函数。如果
''
() 0fx≥
或者
H0≥
，那么称 f 是严格凸函数。
Jensen不等式表述如下：
如果 f 是凸函数，X 是随机变量，那么
[ ( )] ( [ ])Ef X f EX
≥
。特别地，如果 f
是严格凸函数，那么
[ ( )] ( [ ])
Ef X f EX=
，当且仅当
p(x E[X]) 1= =
，也就是说 X
是常量。
如果用图可以清晰的表示：
图中，实线f是凸函数，X是随机变量，有0.5的概率是a，有0.5的概率是b。X
的期望值就是a和b的中值了，图中可以看到
[ ( )] ( [ ])Ef X f EX≥
成立。
当f是(严格)凹函数，当且仅当-f是(严格)凸函数。
Jensen不等式应用于凹函数时，不等号方向反向，也就是
[ ( )] ( [ ])Ef X f EX≤
。
资源评论
saedga1212017-11-24笔记与网上大部分讲解相同，比较基础
mengshidi19852016-05-16挺不错，适应初学都学习
