Fisher分类器(算法及程序)

Fisher分类器，又称为Fisher线性判别分析（Fisher's Linear Discriminant Analysis，简称LDA），是一种经典的统计学方法，常用于高维数据的分类和降维。该算法的目标是找到一个线性变换，使得不同类别之间的区分度最大化，同时保持类别内部的数据点尽可能接近。这一过程可以通过最大化类间散度与类内散度的比值来实现。 在Fisher判别法中，首先考虑两类问题，假设我们有两个类别ω1和ω2，它们在n维空间中的样本总数分别为N1和N2。每个类别的样本均值向量分别为μ1和μ2。Fisher分类器寻找一个最佳的投影方向θ，使得投影后两类的均值投影差最大，而同时样本点在该方向上的类内差异最小。 类间散度（Between-class Scatter，SSB）衡量的是两类样本在投影方向上的平均距离，其计算公式为两类别均值向量投影差的平方和。类内散度（Within-class Scatter，SSW）则是所有样本在投影方向上与其所属类别均值投影距离的平方和。Fisher的目标是找到一个θ，使得SSB/SSW的比值最大，这个比值被称为Fisher准则。 通过数学推导，可以发现最优的投影方向θ对应于类间散度矩阵（由所有类别均值与总体均值的差的平方和组成）与类内散度矩阵（由所有样本与所属类别均值的差的平方和组成）的奇异值分解中最大的特征值所对应的特征向量。这个特征向量决定了最佳的投影方向，从而实现降维和分类。 在实际应用中，Fisher分类器的判别公式是基于样本在投影方向θ上的投影值与分类阈值θ的关系来决定样本属于哪一类。阈值的确定有多种策略，例如取两类均值投影的平均、考虑样本数或类方差的平均等。 在给出的例子中，地震预报的研究中，选取了7个因素（如震级、震中距等）来预测沙基液化情况。通过Fisher分类器，可以找到一个最优的线性组合来区分两种不同的地震液化状态（I类和II类），从而提高预测的准确性。 总结来说，Fisher分类器是一种有效的数据分类和降维工具，尤其适用于高维数据的处理。它通过寻找最佳的线性投影，使得类别间的差异最大化，从而实现高效的数据分类。在实际应用中，Fisher判别法已被广泛应用于图像识别、生物信息学、模式识别等多个领域。