Fisher分类器算法及程序.pdf

Fisher分类器，也称为Fisher线性判别分析（Fisher's Linear Discriminant Analysis，简称LDA），是一种经典的统计学方法，常用于高维数据的分类和降维。它的核心思想是寻找一个投影方向，使得不同类别间的分离度最大，同时保持类内的数据聚集度最小。这种方法最初由Ronald Aylmer Fisher提出，至今在机器学习和模式识别领域仍有广泛应用。 Fisher判别法的基本步骤如下： 1. 数据准备：假设我们有两个类别的数据，每个类别包含多个样本，每个样本具有n个特征（维度）。记类别1的样本均值为μ1，类别2的样本均值为μ2，所有样本的总均值为μ。 2. 定义类间散度（Between-class Scatter，SSB）：类间散度衡量的是类别中心点之间的距离。对于两个类别的数据，类间散度矩阵SSB的计算公式为： \( SSB = \sum_{j=1}^{2} (N_j - 1) (\mu_j - \mu)(\mu_j - \mu)^T \) 其中，\( N_j \) 表示第j类样本的数量。 3. 定义类内散度（Within-class Scatter，SSW）：类内散度描述了类别内部样本点的离散程度。对于第j类，其类内散度矩阵SSW的计算公式为： \( SSW_j = \sum_{i=1}^{N_j} (x_i - \mu_j)(x_i - \mu_j)^T \) 对所有类别的类内散度矩阵进行加权求和，得到SSW。 4. 寻找最佳投影方向w：Fisher判别法的目标是找到一个投影向量w，使得类间散度与类内散度的比值（称为Fisher准则）最大。数学上，这等价于求解以下优化问题： \( \max_w \frac{w^T SSB w}{w^T SSW w} \) 5. 解决优化问题：通过求解SSB矩阵的最大特征值及其对应的特征向量，我们可以找到最优的投影方向w。这个特征向量对应的就是最大化Fisher准则的w。 6. 投影与分类：将原始数据投影到w方向，然后根据投影点的位置判断样本属于哪个类别。通常，可以设定一个阈值，例如取两类均值在w方向投影的平均值作为分类边界。 在实际应用中，Fisher分类器不仅可以用于分类，还可以用于降维，将高维数据映射到一维或低维空间，保留重要的分类信息，同时减少计算复杂性和数据冗余。此外，当类别数量大于2时，Fisher判别法可以扩展为多类问题，通过寻找多个投影方向实现。 总结来说，Fisher分类器是一种基于统计学的分类方法，它利用线性变换寻找数据的最佳分类边界，兼顾了类别间差异性和类别内一致性，适用于处理高维数据。在机器学习和数据分析中，Fisher判别法因其简洁高效而被广泛使用。