此文章已于 21:26:34 2014/8/28 发布到 k.Pro
机器学习分类算法—朴素贝叶斯
类别 [选择一个类别或键入一个新类别]
这里写的相对简略、主要是写程序的时候的思路、
Input:1、训练数据:
11
{( , ),... ( , )}
NN
T x y x y ,
其中,i.
(1) (N)
( ,..., )
i i i
x x x
为特征向量;
ii.
为
对应的分类项;
2、分类实例:x
Output:x 的分类类别
Algorithm(分 3 步):
Step1:计算先验概率及条件概率
先验概率:
后验概率:
(1) (1) (n) (n)
( |Y ) ( ,..., | Y )
kk
P X x c P X x X x c
引入朴素贝叶斯的假设:
条件概率分布具有条件独立性.
( ) ( )
1
( | Y ) ( | Y )
n
jj
kk
j
P X x c P X x c
注:条件独立性是一条较强的假设,由于这一假设,模型的学习与预
测大大简化,但是带来的的缺点是
分类性能不一定高。另外朴素贝叶斯也是由此得名的。
Step2:朴素贝叶斯分类的基本公式(不清楚的贝叶斯与朴素贝叶斯区别的这里就可以明白
了)
贝叶斯公式:
(Y | ) ( ) ( | Y ) (Y )
k k k
P c X x P X x P X x c P c
derivation