第七章 贝叶斯分类器之EM算法1
需积分: 0 112 浏览量
2022-08-08
21:27:21
上传
评论
收藏 1008KB DOCX 举报
上篇主要介绍了贝叶斯分类器，从贝叶斯公式到贝叶斯决策论，再到通过极大
似然法估计类条件概率，贝叶斯分类器的训练就是参数估计的过程。朴素贝叶
斯则是“属性条件独立性假设”下的特例，它避免了假设属性联合分布过于经验
性和训练集不足引起参数估计较大偏差两个大问题，最后介绍的拉普拉斯修正
将概率值进行平滑处理。本篇将介绍另一个当选为数据挖掘十大算法之一的
EM 算法。
#8、EM 算法
EM（Expectation-Maximization）算法是一种常用的估计参数隐变量的利器，
也称为“期望最大算法”，是数据挖掘的十大经典算法之一。EM 算法主要应用于
训练集样本不完整即存在隐变量时的情形（例如某个属性值未知），通过其独
特的“两步走”策略能较好地估计出隐变量的值。
##8.1 EM 算法思想
EM 是一种迭代式的方法，它的基本思想就是：若样本服从的分布参数 θ 已
知，则可以根据已观测到的训练样本推断出隐变量 Z 的期望值（E 步），若 Z
的值已知则运用最大似然法估计出新的 θ 值（M 步）。重复这个过程直到 Z 和
θ 值不再发生变化。
简单来讲：假设我们想估计 A 和 B 这两个参数，在开始状态下二者都是未知
的，但如果知道了 A 的信息就可以得到 B 的信息，反过来知道了 B 也就得到了
A。可以考虑首先赋予 A 某种初值，以此得到 B 的估计值，然后从 B 的当前值
出发，重新估计 A 的取值，这个过程一直持续到收敛为止。
评论0