Microsoft#ai-edu#3.最大后验概率1

## 最大后验概率估计与贝叶斯估计 ## 最大后验概率估计 简称MAP（Maximum Posteriori Estimation）。 问题：有50个白球，50个黑球，在一个袋子里，从中任意拿出10个球，放到第二个袋子里，再从第二个袋子里抽取一个球，记录颜色，放回，再抽取，重复10次。结果一共抽取到7次白球，3次黑球，求最大似然和最大后验概率。 问题：有一枚匀质硬币，投10次，7次正面向上，求 利用前面学到的知识，求解最大似然函数： $$ L(X;\theta)= \theta^7 (1-\theta)^3 \tag{1} $$ 解得： $$ \theta_{max}=0.7 $$ 图1 意味着有10个球里最可能有7个白球和3个黑球，但是我们知道从第一个袋子里拿出10个球的最大概率是5个白球和5个黑球，也就是先验分布值为0.5，而不是0.7，这违背了人们的常识。 其实$\theta_{max}=0.7$这件事，并不是说$\theta=0.7$，而是说 $\theta$ 的最可能的值是0.7，还有可能是别的值。这时，我们如果把先验分布知识加进来，是不是能够在一定程度上让 $\theta$ 值接近0.5呢？这就是最大后验概率估计的想法。 提到后验概率，我们想到了前面学过的后验概率中的贝叶斯定理，把公式中的 $A、B$ 换成 $X、\theta$，可以得到公式2： $$ P(\theta|X)=\frac{P(X|\theta)P(\theta)}{P(X)} \tag{2} $$ 其中： - $P(\theta|X)$ 是后验分布； - $P(X|\theta)$ 是似然函数，也就是公式4中的 $L(X;\theta)$，写成$P(X|\theta)$是为了与贝叶斯公式的命名规则相吻合； - $P(\theta)$ 是先验分布，即$\theta=0.5$时的概率分布； - $P(X)$ 是采样概率，在一次试验中该值是固定的，所以可以在公式2中忽略。 如此一来，估算最大后验概率 $P(\theta|X)$ 的任务变成了： $$ \argmax_\theta P(\theta|X)=\argmax_\theta \frac{P(X|\theta)P(\theta)}{P(X)} \propto \argmax_\theta P(X|\theta)P(\theta) \tag{3} $$ 在公式3中，$P(X|\theta)$ 是似然函数，我们如果再知道 $P(\theta)$ 的先验概率表达式，�