实验二 朴素贝叶斯分类
一、实验目的
通过实验,加深对统计判决与概率密度估计基本思想、方法的认识,了解影响 Bayes
分类器性能的因素,掌握基于 Bayes 决策理论的随机模式分类的原理和方法。
二、实验内容
设计 Bayes 决策理论的随机模式分类器,用 matlab 实现。
三、方法手段
Bayes 分类器的基本思想是依据类的概率、概密,按照某种准则使分类结果从统计上
讲是最佳的。换言之,根据类的概率、概密将模式空间划分成若干个子空间,在此基础上
形成模式分类的判决规则。准则函数不同,所导出的判决规则就不同,分类结果也不同。
使用哪种准则或方法应根据具体问题来确定。
四、Bayes 算法
朴素贝叶斯分类或简单贝叶斯分类的工作过程如下:
(1)每个数据样本用一个 n 维特征向量 表示,分别描述对 n 个属性
A
1
,A
2
,…A
n
样本的 n 个度量。
(2)假定有 m 个类 C
1
,C
2
,…C
m
。给定一个未知的数据样本 X(即没有类标号),分类
法将预测 X 属于具有最高后验概率(条件 X 下)的类。即是说,朴素贝叶斯分类将未知的
样本分配给类 C
i
,当且仅当
(2.1)
这样,最大化 。其 最大的类 C
i
称为最大后验假定。根据贝叶斯定理
,
(2.2)
(3)由于 P(X)对于所有类为常数,只需要 最大即可。如果类的先验概
率未知,则通常假定这些类是等概率的,即 P(C
1
)=P(C
2
)=…=P(C
m
)。并据此只对 最
大化。否则,最大化 。注意,类的先验概率可以用 计算其中
s
i
是类 C
i
中的训练样本数,而 s 是训练样本总数。
(4)给定具有许多属性的数据集,计算 的开销可能非常大。为降低计算
的开销,可以做类条件独立的朴素假定。给定样本的类标号,假定属性值相互条