PCA实战
01 梯度上升法求解PCA
我们在用最大投影方差求解PCA的时候，我们得到了：
我们的目标是求w使得方差最大化，就转换成了求目标函数的最优化问题，可以用梯度上升法进行求解。
化简后得到：
梯度上升法的思路和梯度下降法的思路完全一样，只是前者求极大值，后者求极小值。
接下来我们使用代码来实现：
创建具有线性相关的数据：
X = np.empty((100, 2))
X[:,0] = np.random.uniform(0., 100., size=100)
X[:,1] = 0.75 * X[:,0] + 3. + np.random.normal(0, 10., size=100)
评论0