《python数据分析基础教程》.pdf

《python数据分析基础教程》 ⼀、导⼊常⽤numpy模块 from numpy import * //可以直接引⽤numpy中的属性XXX import numpy as np //引⽤numpy中的属性⼀定要np.XXX ⼆、常⽤函数以及转化关系 np.arange() 对应 python中的range() np.array() 对应 python中的list np.dtype() 对应 python中的type() tolist()函数可以将numpy数组转换成python列表： 列表转为数组： warning:Passing 1d arrays as data is deprecated in 0.17 and willraise ValueError in 0.19. Reshape your data either using X.reshape(-1, 1) if your data has a single feature or X.reshape(1, -1) if it contains a single sample. 这个warning主要就是有些函数参数应该是输⼊数组，当输⼊列表时就会警告！！ 三、numpy中数组操作函数 数组组合函数 将ndarray对象构成的元组作为参数输⼊ (1)⽔平组合：hstack((a,b)) 或者concatenate((a,b),axis=1) (2)垂直组合：vstack((a,b)) 或者concatenate((a,b),axis=0) (3)列组合:column((a,b)) (4)⾏组合:row_stack((a,b)) 数组的分割函数 (1)⽔平分割：hsplit(a,3) 或者 split(a,3,axis=1) (2)垂直分割：vsplit(a,3) 或者 split(a,3,axis=0) 四、⽂件处理——os库 1.os.system() 运⾏shell命令 2.os.listdir(path) 获得⽬录中的内容 3.os.mkdir(path) 创建⽬录 4.os.rmdir(path) 删除⽬录 5.os.isdir(path) os.isfile(path) 判断是否为⽬录或者⽂件 6.os.remove(path) 删除⽂件 7.os.rename(old, new) 重命名⽂件或者⽬录 8.os.name 输出字符串指⽰正在使⽤的平台。如果是window 则⽤'nt'表⽰，对于Linux/Unix⽤户，它是'posix' 9.os.path.join() 在⽬录后⾯接上⽂件名 10.os.path.split() 返回⼀个路径的⽬录名和⽂件名 11.os.path.splitext() 分离⽂件名与扩展名 12.os.path.getsize(name) 获得⽂件⼤⼩，如果name是⽬录返回0L 14.os.path.abspath(")获得当前路径 15.os.path.dirname()返回⼀个路径的⽬录名 五、使⽤matplotlib画图(第九章 ) 前⾯⼏个列⼦主要讲解了通过多项式函数通过plt.plot()函数构建绘图，补充⼀下在机器学习中散点绘制 import numpy as np import matplotlib.pyplot as plt fig=plt.figure() ax=fig.add_subplot(111) x1=[2, 2.6, 2.8] y1=[2, 2.4, 3] x2=[4,5 ,6] y2=[1.3, 2, 1.2] ax.scatter(x1,y1,s=20,c='red') ax.scatter(x2,y2,s=50,c='blue') plt.show() 另外：做数据分析——sklearn库 from sklearn import preprocessing 数据预处理：归⼀化、标准化、正则化处理 from sklearn import preprocessing preprocessing.normalize(features, norm='l2')//正则化 Python数据分析是一种强大的工具，尤其在数据挖掘、机器学习和科学计算等领域中有着广泛的应用。《Python数据分析基础教程》这本书提供了一套系统的学习路径，涵盖了数据分析的基础知识和实用技能。以下是一些关键知识点的详细说明： 1. **NumPy模块**： NumPy是Python科学计算的核心库，提供了高效的多维数组对象`ndarray`。`from numpy import *`可导入所有NumPy的函数，但不推荐这种做法，因为它可能导致命名冲突。推荐使用`import numpy as np`，之后使用`np`前缀调用相关函数。`np.arange()`类似于Python的`range()`，用于创建等差序列；`np.array()`用于创建数组，相当于Python的`list`；`np.dtype()`获取数组元素的数据类型；`tolist()`方法将NumPy数组转换为Python列表。在使用数组时，注意避免传递1D数组给需要数组的函数，否则可能会遇到警告或错误。 2. **数组操作函数**： - **组合**：水平组合（`hstack`或`concatenate(axis=1)`）、垂直组合（`vstack`或`concatenate(axis=0)`）、列组合（`column_stack`）和行组合（`row_stack`）用于连接数组。 - **分割**：水平分割（`hsplit`或`split(axis=1)`）、垂直分割（`vsplit`或`split(axis=0)`）则用于拆分数组。 3. **文件处理——os库**： - `os.system()`执行shell命令。 - `os.listdir(path)`列出指定路径下的所有文件和目录。 - `os.mkdir(path)`创建目录。 - `os.rmdir(path)`删除目录，需确保目录为空。 - `os.isdir(path)`和`os.isfile(path)`分别检查路径是否为目录或文件。 - `os.remove(path)`删除文件。 - `os.rename(old, new)`重命名文件或目录。 - `os.name`返回操作系统类型，如'nt'（Windows）或'posix'（Linux/Unix）。 - `os.path.join()`拼接路径。 - `os.path.split()`返回路径的目录名和文件名。 - `os.path.splitext()`分离文件名和扩展名。 - `os.path.getsize(name)`获取文件大小。 - `os.path.abspath(path)`获取绝对路径。 - `os.path.dirname(path)`获取路径的目录名。 4. **绘图——matplotlib库**： Matplotlib是Python的数据可视化库，`plt.plot()`函数用于绘制线图。在机器学习中，散点图也是常用的工具。例如，使用`plt.scatter()`函数可以绘制散点图，通过设置`s`参数控制点的大小，`c`参数设置颜色。`plt.show()`显示图形。 5. **数据分析——sklearn库**： scikit-learn（简称sklearn）是机器学习的重要库，提供多种预处理方法。例如，`preprocessing`模块包含`normalize()`函数，它用于对特征进行归一化处理，可以设置`norm='l2'`进行L2范数归一化，有助于数据标准化和正则化处理。 以上只是Python数据分析的一部分基础知识，实际应用中还涉及pandas库用于数据处理、统计分析，以及各种机器学习模型的构建和评估。深入学习这些内容，将能够高效地进行数据探索、特征工程和模型构建。