PCA原理解析1
需积分: 0 100 浏览量
2022-08-03
12:45:55
上传
评论
收藏 564KB PDF 举报
PCA原理解析
【参考资料】
主成分分析（PCA）原理总结
奇异值分解(SVD)原理
李宏毅《机器学习》课程对应章节
Ian Goodfellow等 《Deeping Learning》
有两种定义PCA的方式，一种是使数据投影到低维空间后的方差尽可能大，另一种是使投影后数据点的信息损失最
小。这两种方式会导出相同的定义。
约定有 个数据点 ，每个数据点的特征为 维。现在将数据向低维空间投影，该低维空间的坐
标系为 ，其维度 。 （ ）是一组标准正交基，满足：
样本点 在低维空间的投影为 ，其中 是 在低维坐标系里第 维的坐
标。
1. 最大方差形式
最大方差理论要求投影后的数据点尽可能分开，即方差尽可能大。
对于任意一个样本 ，在新的坐标系中的投影为 ，其中 是 维的权重， 。所以新坐标系中
投影的方差为 ， 为样本点的均值。要使所有样本点的投影方差和
最大，也就是要使矩阵 的迹最大，其中
代表协方差矩阵。
于是，目标函数可以表示为
评论0