第三章 线性分类器 (Linear Classifiers)
我们看到,在一定条件下,基于概率或概率密度的分类器设计
问题,即基于后验概率或类条件概率密度的分类器设计问题,或用
Bayes 决策理论设计的分类器可转化为线性分类器。
线性分类器的特点是结构简单,计算工作量小,缺点是在很多
情况下分类正确率不够高。
3.1 线 性 判 别 函 数 和 决 策 超 平 面 (Linear Discriminant
Functions and Decision Hyperplanes)
我们先考虑两类问题和线性判别函数。设特征空间维数为 m,即
xR
m
,一个超平面决策方程可写为
这里,w=(w
1
,w
2
,,w
m
)
T
为权值向量,w
0
为阈值(bias)。如果 x
1
、x
2
两
个点均在超平面
上,则有
或
显然,w 与 x
1
-x
2
垂直。有时,人们称 w 为超平面
的法矢量。将
(3.1)展开得