(13)因子分析1
需积分: 0 142 浏览量
2022-08-03
13:58:15
上传
评论
收藏 953KB PDF 举报
因子分析（Factor Analysis）
JerryLead
csxulijie@gmail.com
2011 年 5 月 11 日
1 问题
之前我们考虑的训练数据中样例
的个数 m 都远远大于其特征个数 n，这样不管是进
行回归、聚类等都没有太大的问题。然而当训练样例个数 m 太小，甚至 m<<n 的时候，使
用梯度下降法进行回归时，如果初值不同，得到的参数结果会有很大偏差（因为方程数小于
参数个数）。另外，如果使用多元高斯分布(Multivariate Gaussian distribution)对数据进行拟合
时，也会有问题。让我们来演算一下，看看会有什么问题：
多元高斯分布的参数估计公式如下：
分别是求 mean 和协方差的公式，
表示样例，共有 m 个，每个样例 n 个特征，因此
是 n 维向量，是 n*n 协方差矩阵。
当 m<<n 时，我们会发现是奇异阵（
），也就是说
不存在，没办法拟合出多
元高斯分布了，确切的说是我们估计不出来。
如果我们仍然想用多元高斯分布来估计样本，那怎么办呢？
2 限制协方差矩阵
当没有足够的数据去估计时，那么只能对模型参数进行一定假设，之前我们想估计出
完全的（矩阵中的全部元素），现在我们假设就是对角阵（各特征间相互独立），那么我
们只需要计算每个特征的方差即可，最后的只有对角线上的元素不为 0
回想我们之前讨论过的二维多元高斯分布的几何特性，在平面上的投影是个椭圆，中心
点由决定，椭圆的形状由决定。如果变成对角阵，就意味着椭圆的两个轴都和坐标轴平
行了。
剩余10页未读，继续阅读
评论0