基于matlab的贝叶斯分类器设计.docx

实验一：身高和体重为独立变量的贝叶斯决策

实验二：身高和体重为相关变量的贝叶斯决策

需要用到的数据文件：

 FAMALE.TXT 50 个女生的身高、体重数据

 MALE.TXT 50 个男生的身高、体重数据

----- 训练样本集

 test1.txt 35 个同学的身高、体重、性别数据（15 个女生、20 个男生）

具体做法：

应用单个特征进行实验：以（a）身高或者（b）体重数据作为特征，在正态分布假设

下利用最大似然法或者贝叶斯估计法估计分布密度参数，建立最小错误率 Bayes 分类器，

写出得到的决策规则，将该分类器应用到测试样本，考察测试错误情况。在分类器设计时

可以考察采用不同先验概率（如 0.5 对 0.5, 0.75 对 0.25, 0.9 对 0.1 等）进行实验，考察对决

策规则和错误率的影响。

应用两个特征进行实验：同时采用身高和体重数据作为特征，分别假设二者相关或不

相关，在正态分布假设下估计概率密度，建立最小错误率 Bayes 分类器，写出得到的决策

规则，将该分类器应用到训练/测试样本，考察训练/测试错误情况。比较相关假设和不相关

假设下结果的差异。在分类器设计时可以考察采用不同先验概率（如 0.5 vs. 0.5, 0.75 vs.

根据训练样本的数据分别求得本实验符合的各类的正态分布的参数估计值：

、 ，从而求得符合要求的正态

分布函数 和 。

2:设定女生和男生的先验概率 （这两个值是人为设定的）的

值，满足 的条件。

3: 将 训 练 数 据 带 入 两 分 布 函 数 ， 分 别 求 得 类 条 件 概 率 密 度

。其中 i 为第 i 个训练数据， ，

为第 个类别。

4：根据贝叶斯公式： 求出训练数据对每个

类别的后验概率 。其中，L 为总的类别（这里 L=2）， 为第 个类。

247

错误率

0.0857

错误率

0.0633

以体重为特征的实验结果：

0

0

错误率

0.4286

错误率

0.1667

结论：从上表可以看出，应用单个特征进行试验时，以身高为特征的错误

率比以体重为特征的错误率要低，因此，以身高为特征进行试验更好.

具体实现程序如下：

%% 应用单个特征（身高）

clear all; clc;

%读入男生的身高、体重

p_w2 = 0.25; %pw2 表示女生的先验概率

% %均值

male_num = size(male,1);

female_num = size(female,1);

male_sum = zeros(1,2);

female_sum = zeros(1,2);

for i = 1 : male_num

male_sum = male_sum + male(i,:);

end

for j = 1 : female_num

average_f_height = ex_female(1,1); %女生身高的均值

average_f_weight = ex_female(1,2); %女生体重的均值

% %方差

male_sum2 = zeros(1,2);

female_sum2 = zeros(1,2);

for i = 1 : male_num

male_sum2 = male_sum2 + (male(i)-ex_male) .* (male(i)-ex_male);

end

for j = 1 : female_num

female_sum2 = female_sum2 + (female(i)-ex_female) .* (female(i)-ex_female);

dx_female_weight = dx_female(1,2)^0.5;%女生体重的标准差

%测试数据 身高

% test = '.\test1.txt';

test = '.\test2.txt';

[data1,data2,data3]=textread(test,'%n%n%s');

test_num = size(data1,1);

error = 0;

m = 0;

f = 0;

px_w1=normpdf(data1,average_m_height,dx_male_height);%类条件概率分布

gender = 'M';

m = m + 1;

else

gender = 'F';

f = f + 1;