![](https://csdnimg.cn/release/download_crawler_static/89808980/bg1.jpg)
实验八 主成分分析降维
主成分分析(Principal Component Analysis, PCA)是一种目前常见的数据降维
方法,其目的是在“信息”损失较小的前提下,将高维的数据转换到低维。在低维的
情况下,数据更容易进行处理,从而减小计算量,其相关特征可能在数据中明确地显
示出来。
在信号处理中认为,信号具有最大的方差,而噪声有较小的方差,信噪比就是
信号与噪声的方差比,越大越好。在 PCA 中,数据从原来的坐标系转换到新的坐标系,
新坐标系的选择是由数据本身决定的。第一个新坐标轴选择的是原始数据中方差最大
的方向,第二个新坐标轴的选择和第一个坐标轴正交且具有最大方差的方向。该过程
一直重复,重复次数为原始数据中特征的数目。我们会发现,大部分方差都包含在最
前面的几个新坐标轴中,因此可以忽略余下的坐标轴,即对数据进行了降维处理。
要实现 PCA 算法,需要知道:原数据协方差矩阵 Σ 的最大特征值对应的特征向
量就是方差最大的方向。
大家可以看一下下面这几张图: