机器学习算法之使用Python实现PCA算法.zip资源-CSDN文库

共4个文件

py：2个

mat：2个

需积分: 1 102 浏览量 2024-04-20 06:11:59 上传评论 1 收藏 10.3MB ZIP 举报

PCA（主成分分析，Principal Component Analysis）是一种广泛应用的数据降维技术，它通过线性变换将原始数据转换为一组各维度线性无关的表示，可用于提取数据的主要特征分量。在机器学习领域，PCA常用于高维数据的预处理，减少数据冗余，提高模型效率，同时也能帮助我们理解数据的主要结构。 Python是数据科学和机器学习领域的主流编程语言，其拥有丰富的库支持PCA算法的实现，如Numpy、Scikit-learn等。以下我们将详细讨论PCA的原理、Python实现以及其在实际应用中的作用。 1. PCA原理： - 数据标准化：PCA首先要求数据集具有零均值和单位方差，这通常通过数据的中心化和标准化来实现。 - 计算协方差矩阵：在标准化后，计算数据的协方差矩阵，该矩阵反映了各个特征之间的相关性。 - 求特征值和特征向量：对协方差矩阵进行特征分解，得到特征值和对应的特征向量。特征值代表了各个特征向量在数据变化中的贡献程度。 - 选择主成分：按特征值大小排序，选取前k个特征向量，它们对应的是数据变化最大的方向，即主成分。 - 投影数据：将原始数据投影到由这些主成分构成的新坐标系中，完成数据降维。 2. Python实现PCA： - 使用Numpy库：通过Numpy的`linalg.eig()`函数计算协方差矩阵的特征值和特征向量，然后根据特征值选择主成分并进行数据投影。 - 使用Scikit-learn库：Scikit-learn提供了`PCA`类，封装了整个PCA过程，包括数据预处理、特征值计算、选择主成分等步骤。只需调用`fit()`和`transform()`方法即可实现PCA降维。 3. PCA的实际应用： - 数据可视化：PCA可以将高维数据降维到二维或三维，便于使用散点图进行可视化，揭示数据分布和聚类。 - 特征选择：PCA可以找出最具代表性的特征，降低模型复杂度，提高预测性能。 - 压缩数据：在存储或传输高维数据时，PCA可有效减少数据量，降低资源需求。 - 预处理步骤：PCA可以用于预处理噪声数据，消除噪声的影响，同时保持主要信息。 4. PCA的局限性： - 信息损失：PCA通过牺牲部分次要信息来达到降维目的，可能影响某些任务的性能。 - 依赖线性关系：PCA假设数据间存在线性关系，对于非线性结构的数据可能效果不佳。 - 解释性：虽然PCA能提供主要成分，但这些成分往往是抽象的组合特征，不易直观理解。总结，PCA作为机器学习中的重要工具，通过Python的Numpy和Scikit-learn库可以方便地实现。了解PCA的原理和应用，可以帮助我们在处理高维数据时做出明智的选择，提升模型性能。

资源推荐

资源详情

资源评论

收起资源包目录

机器学习算法之使用Python实现PCA算法.zip （4个子文件）

机器学习算法之使用Python实现PCA算法

PCA

PCA.py 4KB

PCA_scikit-learn.py 3KB

data.mat 995B

data_faces.mat 10.52MB

#-*- coding: utf-8 -*- # Author: Bob # Date: 2016.11.24 import numpy as np from matplotlib import pyplot as plt from scipy import io as spio from sklearn.decomposition import pca ''' 主成分分析_2维数据降维1维演示函数 ''' def PCA_2D(): data_2d = spio.loadmat("data.mat") X = data_2d['X'] m = X.shape[0] plt = plot_data_2d(X,'bo') # 显示二维的数据 plt.show() X_copy = X.copy() X_norm,mu,sigma = featureNormalize(X_copy) # 归一化数据 #plot_data_2d(X_norm) # 显示归一化后的数据 #plt.show() Sigma = np.dot(np.transpose(X_norm),X_norm)/m # 求Sigma U,S,V = np.linalg.svd(Sigma) # 求Sigma的奇异值分解 plt = plot_data_2d(X,'bo') # 显示原本数据 drawline(plt, mu, mu+S[0]*(U[:,0]), 'r-') # 线，为投影的方向 plt.axis('square') plt.show() K = 1 # 定义降维多少维（本来是2维的，这里降维1维） '''投影之后数据（降维之后）''' Z = projectData(X_norm,U,K) # 投影 '''恢复数据''' X_rec = recoverData(Z,U,K) # 恢复 '''作图-----原数据与恢复的数据''' plt = plot_data_2d(X_norm,'bo') plot_data_2d(X_rec,'ro') for i in range(X_norm.shape[0]): drawline(plt, X_norm[i,:], X_rec[i,:], '--k') plt.axis('square') plt.show() '''主成分分析_PCA图像数据降维''' def PCA_faceImage(): print (u'加载图像数据.....') data_image = spio.loadmat('data_faces.mat') X = data_image['X'] display_imageData(X[0:100,:]) m = X.shape[0] # 数据条数 print (u'运行PCA....') X_norm,mu,sigma = featureNormalize(X) # 归一化 Sigma = np.dot(np.transpose(X_norm),X_norm)/m # 求Sigma U,S,V = np.linalg.svd(Sigma) # 奇异值分解 display_imageData(np.transpose(U[:,0:36])) # 显示U的数据 print (u'对face数据降维.....') K = 100 # 降维100维(原先是32*32=1024维的) Z = projectData(X_norm, U, K) print (u'投影之后Z向量的大小：%d %d' %Z.shape) print (u'显示降维之后的数据......') X_rec = recoverData(Z, U, K) # 恢复数据 display_imageData(X_rec[0:100,:]) # 可视化二维数据 def plot_data_2d(X,marker): plt.plot(X[:,0],X[:,1],marker) return plt # 归一化数据 def featureNormalize(X): '''（每一个数据-当前列的均值）/当前列的标准差''' n = X.shape[1] mu = np.zeros((1,n)); sigma = np.zeros((1,n)) mu = np.mean(X,axis=0) # axis=0表示列 sigma = np.std(X,axis=0) for i in range(n): X[:,i] = (X[:,i]-mu[i])/sigma[i] return X,mu,sigma # 映射数据 def projectData(X_norm,U,K): Z = np.zeros((X_norm.shape[0],K)) U_reduce = U[:,0:K] # 取前K个 Z = np.dot(X_norm,U_reduce) return Z # 画一条线 def drawline(plt,p1,p2,line_type): plt.plot(np.array([p1[0],p2[0]]),np.array([p1[1],p2[1]]),line_type) # 恢复数据 def recoverData(Z,U,K): X_rec = np.zeros((Z.shape[0],U.shape[0])) U_recude = U[:,0:K] X_rec = np.dot(Z,np.transpose(U_recude)) # 还原数据（近似） return X_rec # 显示图片 def display_imageData(imgData): sum = 0 ''' 显示100个数（若是一个一个绘制将会非常慢，可以将要画的图片整理好，放到一个矩阵中，显示这个矩阵即可） - 初始化一个二维数组 - 将每行的数据调整成图像的矩阵，放进二维数组 - 显示即可 ''' m,n = imgData.shape width = np.int32(np.round(np.sqrt(n))) height = np.int32(n/width); rows_count = np.int32(np.floor(np.sqrt(m))) cols_count = np.int32(np.ceil(m/rows_count)) pad = 1 display_array = -np.ones((pad+rows_count*(height+pad),pad+cols_count*(width+pad))) for i in range(rows_count): for j in range(cols_count): max_val = np.max(np.abs(imgData[sum,:])) display_array[pad+i*(height+pad):pad+i*(height+pad)+height,pad+j*(width+pad):pad+j*(width+pad)+width] = imgData[sum,:].reshape(height,width,order="F")/max_val # order=F指定以列优先，在matlab中是这样的，python中需要指定，默认以行 sum += 1 plt.imshow(display_array,cmap='gray') #显示灰度图像 plt.axis('off') plt.show() if __name__ == "__main__": PCA_2D() PCA_faceImage()

评论收藏

内容反馈