最大后验（Maximum a Posteriori，MAP）概率估计详解
版权申诉
5星 · 超过95%的资源 8 浏览量
2021-01-20
11:38:21
上传
评论 1
收藏 116KB PDF 举报 
最大后验（最大后验（Maximum a Posteriori，，MAP）概率估计详解）概率估计详解
最大后验（最大后验（Maximum A Posteriori，，MAP）概率估计）概率估计
注：阅读本文需要贝叶斯定理与最大似然估计的部分基础注：阅读本文需要贝叶斯定理与最大似然估计的部分基础
最大后验最大后验（Maximum A Posteriori，MAP）估计可以利用经验数据获得对未观测量的点态估计。它与Fisher的最（极）大最（极）大
似然估计似然估计（Maximum Likelihood，ML）方法相近，不同的是它扩充了优化的目标函数，其中融合了预估计量的先验分布信
息，所以最大后验估计可以看作是正则化（regularized）的最大似然估计。
想要了解最大后验最大后验（MAP）概率估计，需要学会贝叶斯定理贝叶斯定理以及极大似然估计极大似然估计（Maximum Likelihood
Estimate，MLE）。
1.贝叶斯定理贝叶斯定理
贝叶斯定理由英国数学家贝叶斯 ( Thomas Bayes 1702-1761 ) 发展，用来描述两个条件概率之间的关系。
这里篇博客主要说的并不是贝叶斯定理，因此，只在这里提及需要用到的有关于贝叶斯的部分知识。
假设，现在有两个一定概率发生的事件A和B，且它们之间存在一定的关系。
– P（A）表示事件A发生的概率。
– P（B）表示事件A发生的概率。
– P（A | B）表示事件B已经发生的情况下，事件A发生的概率。
– P（B | A）表示事件A已经发生的情况下，事件B发生的概率。
理解了以上内容，就可以看一下数学上的贝叶斯定理贝叶斯定理：
2.极大似然估计极大似然估计
极大似然估计方法（Maximum Likelihood Estimate，MLE）也称为最大概似估计或最大似然估计，是求估计的方法之
一。（还有矩估计等）
简单来讲，极大似然估计就是给定模型给定模型，然后通过收集数据收集数据，求该模型的参数参数。例如，投10次特殊的硬币特殊的硬币（给定模
型），出现6次正面4次反面（请注意，这里10次结果有顺序，后面所有的投硬币结果，都有顺序）（收集数据），现在要估
计投这枚硬币出现正面的概率（求参数）。
由于提及“投硬币”，一般人的第一印象就是投到正面和反面的概率都是0.5。不过这样不利于我们接下来的学习，这里，我
们需要摆脱以往的直觉，该硬币是特殊的，正反的概率并一定是0.5。
那么，我们根据以上收集的数据先凭借直觉猜一下，很明显，由于投了10次，出现了6次正面，一般人都会猜投硬币出现
正面的概率最有可能是0.6，当然也不排除其他的可能。
而最大似然估计，简单来讲，就是用数学方法来解释你这种直觉，它就是计算出可能性最大的结果。
上面投硬币的例子，很明显可以看出，这个模型服从二项分布，即进行多次实验，每次实验只有两种可能。用x0，x1，
…，x9表示这10次投硬币的结果，用θ表示投该硬币出现正面的概率，那么把我们的直觉写成用数学写出来就是似然函数似然函数，可
表示成：
当然，不要被似然函数似然函数吓到了，他就是一个名字而已，就上面那个图片中的函数，相信你能看懂。而最大似然估计，顾名
思义，就是要最大化这个似然函数，说得更简单点，就是给你一个函数，求它的极大值点给你一个函数，求它的极大值点。即
对似然函数取对数对数，不会影响该函数的单调性单调性，从而不会影响最后的计算的极值极值，也可以在一定程度上减少减少因计算而带来
的误差误差，还可以极大的简化计算简化计算。
此时求解取对数的似然函数的极大值点，就是似然函数的极大值点。由于似然函数是先单调递增，然后再单调递减的，因
此，取对数的似然函数导数为导数为0的点的点，即是似然函数或取对数的似然函数的极大值点极大值点（在这里也是最大值点最大值点）
最大似然估计可以转化为求下面式子的解：
下面简单说一下求解方法：
这里以上面得例题为例，首先求出最大似然函数
对其进行极大似然估计
然后对似然函数取对数，如下所示：
资源评论
weixin_396732672023-05-08感谢资源主的分享，这个资源对我来说很有用，内容描述详尽，值得借鉴。- Rajini2023-07-31资源很赞，希望多一些这类资源。
- qwertyuio123djdj2023-04-12总算找到了自己想要的资源，对自己的启发很大，感谢分享~
m0_466638332023-02-17资源内容总结的很到位，内容详实，很受用，学到了~
