贝叶斯方法的解释和优点
摘要:概率论推断与贝叶斯推断的中心都围绕似然 likelihood 的概念。然而二者
对似然提供的信息的理解和解释完全不同。即在对于观察数据提供的信息的理解,
和如何应用已有信息来影响未来决策(或提供预测)的问题上常常被认为是统计
学中形成鲜明对比的两种哲学理念。本文详细贝叶斯的基本概念,计算原理和计
算过程,并对其优缺点进行了详细的描述。
关键词:概率论;贝叶斯;优缺点
1 引言
概率论推断与贝叶斯推断的中心都围绕似然 likelihood 的概念。然而二者对似然提供的
信息的理解和解释完全不同。即在对于观察数据提供的信息的理解,和如何应用已有信息来
影响未来决策(或提供预测)的问题上常常被认为是统计学中形成鲜明对比的两种哲学理念。
过去几个世纪二者之间孰优孰劣的争论相当激烈。但是,从实际应用的角度来看,我们目前
更关心哪种思维能更加实用地描述和模拟真实世界。幸运地是,多数情况下,二者的差距不
大。所以无法简单地从一个实验或者一次争论中得出谁更出色的结论。现在的统计学家们通
常不再如同信仰之争那样的互相水火不容,而是从实用性角度来判断一些实际情况下,采用
哪种思想能使计算过程更加简便或者计算结果更加接近真实情况。概率论思想下的定义:某
事件在多次重复观察实验结果中发生次数所占的比例。贝叶斯思想下的定义:概率是你相信
某事件会发生的可能性。
2 贝叶斯定理(Bayesian Theorem)
假设 C1,C2,……,Cn 为样本空间(Sample Space)S 的分割,且有一事件(Event)A,
在此前提下有两定理存在[45]:
定理 1:全概率公式;(Law of Total Probability)
用文字表述为:事后概率∝ 似然×先验概率
其中:
事后概率,posterior probability:B 发生的条件下,A 发生的概率;
∝ :与某某正比;
似然,likelihood:A 发生的条件下,B 发生的概率;
先验概率,prior probability:事件 A 发生的概率。
这就是贝叶斯定理。这个定理也告诉我们为什么贝叶斯论证在18,19 世纪时被叫做“逆
概率推理,inverse probability reasoning”。因为似然(A 发生的条件下,B 发生的概率)在与
先验概率相乘以后,概率发生了逆转–事后概率(B 发生的条件下,A 发生的概率)。