因子分析和主成分分析
因子分析是一种常用的数据分析方法，用于处理多变量数据，提取主要的因子成分进行分析处理。在实际问题中，涉及的变量众多，各变量间存在错综复杂的相关关系，这时最好能从中提取少数综合变量，这些综合变量彼此不相关，而且包含原变量提供的大部分信息。
正交因子模型是因子分析的基础模型之一，设总体是一个p维变量：它的均值向量，协方差矩阵V=(σij)p×p都存在。公共因子F1, F2, … , Fm(m<p)是从总体中提取的综合变量，每个变量Xi除了可以由公共因子解释的那部分外，还有一些公共因子解释不了的部分，称这部分为变量Xi的特殊因子，记为：εi。
因子模型可以写成以下的形式：
其中m<p，F1,F2,…,Fm称为所有变量的公共因子；εi称为变量Xi的特殊因子。引入以下向量与矩阵：
则因子模型的矩阵形式为：
对于正交的因子模型，还要进一步要求：
z1. 公共因子是互相不相关的。
z2. 特殊因子和公共因子不相关。
因子载荷矩阵A是矩阵形式的重要组成部分，系数aij称为变量Xi在因子Fj上的载荷（loading）。由于特别，如果总体是标准化的，则有Var(Xi)=1，从而有：
于是：即变量Xi在公共因子Fj上的载荷aij就是Xi与Fj的相关系数。
主成分法是估计载荷矩阵的一种方法，由于其估计结果和变量的主成分仅相差一个常数倍，因此就冠以主成分法的名称。在一般情况下，这是比较好的方法。
变量的共同度是指载荷矩阵A的第i行元素的平方和，称为变量Xi的共同度（communality）。共同度表示公共因子能在多大的程度上解释变量Xi。
公共因子的方差贡献率是指载荷矩阵A第j列的平方和，称为因子Fj对总体的贡献（initial eigenvalues）。
因子旋转是针对因子模型的数学模型不足的改进方法，旨在使得因子作为一个综合变量，其专业意义在许多情况下不容易解释。因子旋转的依据是因子模型的不唯一性，设T是一个正交矩阵，由，因子模型与模型等价。
因子分析是处理多变量数据的重要方法，通过提取主要的因子成分，进行分析处理。其模型形式、载荷矩阵、共同度、方差贡献率等概念都是因子分析的重要组成部分。
