一、简介
应用统计方法解决模式识别问题时,一再碰到的问题之一就是维数问
题。在低维空间里解析上或计算上行得通的方法,在高维空间里往往
行不通。因此,降低维数有时就会成为处理实际问题的关键。
1 问题描述:如何根据实际情况找到一条最好的、最易于分类的投影
线,这就是 Fisher 判别方法所要解决的基本问题。
考虑把 d 维空间的样本投影到一条直线上,形成一维空间,即把维数
压缩到一维。然而,即使样本在 d 维空间里形成若干紧凑的互相分得
开的集群,当把它们投影到一条直线上时,也可能会是几类样本混在
一起而变得无法识别。但是,在一般情况下,总可以找到某个方向,
使在这个方向的直线上,样本的投影能分得开。下图可能会更加直观
一点:
类效果。因此,上述寻找最佳投影方向的问题,在数学上就是寻找最
好的变换向量 w*的问题。