基于Python 进行PCA 模型实验【100011736】

# PCA 模型实验 ## 实验目的 实现一个 PCA 模型，能够对给定数据进行降维（即找到其中的主成分） 实验要求及实验环境 ### 实验要求 **测试：** 首先人工生成一些数据（如三维数据），让它们主要分布在低维空间中，如首先让某个维度的方差远小于其它唯独，然后对这些数据旋转。生成这些数据后，用你的 PCA 方法进行主成分提取。 找一个人脸数据（小点样本量），用你实现 PCA 方法对该数据降维，找出一些主成分，然后用这些主成分对每一副人脸图像进行重建，比较一些它们与原图像有多大差别（用信噪比衡量）。 ## 实验环境 OS： Windows 11 Python： 3.7.9 ### 设计思想 PCA(主成分分析，Principal Component Analysis)是最常用的一种降维方法。PCA 的主要思想是将 D 维特征通过一组投影向量映射到 K 维上，这 K 维是全新的正交特征，称之为主成分，采用主成分作为数据的代表，有效地降低了数据维度，且保留了最多的信息。关于 PCA 的推导有两种方式：最大投影方差和最小投影距离。 最大投影方差：样本点在这个超平面上的投影尽可能分开 最小投影距离：样本点到这个超平面的距离都足够近 在开始 PCA 之前需要对数据进行预处理，即对数据中心化。设数据集 其中 即 X 是一个 n*d 的矩阵。则此数据集的中心向量（均值向量）为： 对数据集每个样本均进行操作：就得到了中心化后的数据，此时有 中心化可以给后面的计算带来极大的便利，因为中心化之后的常规线性变换就是绕原点的旋转变化，也 就是坐标变换。此时，协方差为  设使用的投影坐标系的一组标准正交基为 对于任意一个样本 ，在新的坐标系中的投影为在新坐标系中的投影方差为要使所有的样本的投影方差和最大，也就是求即 求解：在 方向投影后的方差  因为 是投影方向，且已经假设它是单位向量，即 ，用拉格朗日乘子法最大化目标函数： 对 U1 求导，令导数等于 0，解得 ，显然， 和 是一组对应的 的特征向量和特征 值，所以有 ，结合在 方向投影后的方差式，可得求得最大化方差，等价于求最大的特 征值。 要将 维的数据降维到 维，只需计算前 个最大的特征值，将其对应的特征向量（d×1 的）转为行 向量（1×d 的）组合成特征向量矩阵 ，则降维压缩后的矩阵为 。 ## 实验结果分析 ## 二维降到一维 生成高斯分布数据的参数： 降维结果如下：  ## 三维降到二维 生成高斯分布数据的参数： 降维结果如下：  可以看到，各点降维到一个平面：  ## 人脸数据测试    ## 结论 PCA 用于图片的降维可以极大地缓解存储压力，尤其是在如今像素越来越高的情况下，但在维度的选择上需要合适，太低会使图片无法辨认。使用 PCA 降维我们只需要存储三个比较小的矩阵，能够较大地节省存储空间。  ## 参考文献 《机器学习》