机器学习实验 机器学习课设 紫金20级.zip

# # 实验一 线性回归（黑体三号） ## 一、实验目的 1.搭建机器学习开发平台。 2.掌握线性回归分析的基本思想和基本方法（难点）。 3.掌握最小二乘法原理及实现（重点）。 ## 二、实验原理及说明 线性回归是在已有数据集上通过构建一个线性的模型来拟合该数据集特征向量的各个分量之间的关系，对于需要预测结果的新数据，我们利用已经拟合好的线性模型来预测其结果。最小二乘法是用的比较广泛的一种方法。 高斯于 1823年在误差独立同分布的假定下，证明了最小二乘方法的一个最优性质:在所有无偏的线性估计类中, 最小二乘方法是其中方差最小的！ 对于数据(𝑥𝑥𝑖𝑖,𝑦𝑦𝑖𝑖)(𝑖𝑖=1,2,3...,n)，拟合出函数 ℎ(𝑥)有误差，即残差：𝑟𝑖=ℎ(𝑥𝑖)−𝑦𝑖，此时 L2 范数(残差平方和) 最小时， h(x) 和 y相似度最高， 更拟合一般的 H(x) 为 n次的多项式： 𝐻𝐻(𝑥𝑥)=𝑤0+𝑤1𝑥+𝑤2𝑥2+...𝑤𝑛𝑥𝑛，其中w(w0,w1,w2,...,wn)为参数，最小二乘法就是要找到一组w(w0,w1,w2,...,wn)，使得残差平方和最小。 ## 三、实验内容 ### 1．搭建机器学习开发平台。 #### （1）安装 Anaconda开发平台，使用 jupyter notebook进行编辑。 #### （2）建立虚拟环境： 创建虚拟环境：使用 conda create -n your_env_name python=X.X（3.6、3.8 等），anaconda命令创建 python版本为 X.X、名字为 your_env_name 的虚拟环境。your_env_name 文件可以在 Anaconda 安装目录 envs 文件下找到。 激 æ´» 虚 拟 环 境 ： 使 用 如 下 命 令 即 可 激 æ´» 创 建 的 虚 拟 环 境activate your_env_name(虚拟环境名称)，此时使用 python --version可以检查当前 python版本是否为想要的（即虚拟环境的 python 版本）。 退出虚拟环境：使用如下命令即可退出创建的虚拟环境 deactivate env_name， 也可以使用“activate root”切回 root环境。 删除虚拟环境：使用命令 conda remove -n your_env_name(虚拟环境名称) --al 即可删除。  #### （3） 在虚拟环境中安装相应的包文件，如：pandas、numpy、matplotlib、scipy、sklearn等，具体实验可具体安装。可以使用 conda list 命令查看安装了哪些包。  ### 2．最小二乘法实现。 #### （1） 最小二乘法的 python实现：我们用目标函数𝑦=𝑠𝑖𝑛2𝜋𝑥,加上一个正态分布的噪音干扰，再用多项式去拟合（分别取 0 阶、1 阶、3 阶、9 阶进行拟合）。程序流程如下：  写出代码和可视化结果。 目标函数：代入生成的x，生成对应的y ```python def func(x): return np.sin(2*np.pi*x) ``` 随机生成10个x进行实验： ```python x = np.linspace(0, 1, 10) ``` 构造多项式拟合函数： ```python #多项式 def fit_func(p,x): """ eg:p = np.poly1d([2,3,5,7]) print(p)==>>2x3 + 3x2 + 5x + 7 """ f = np.poly1d(p) return f(x) ``` 计算误差： ```python #残差 def residuals_func(p, x, y): ret = fit_func(p, x) - y return ret ``` leastsq 是 scipy 库 进行最小二乘法计算的函数，也就是通过误差函数以及数据点进行我们前面讲的对参数进行求导操作，最后得出我们拟合出来的函数。 ```python def fitting(M=0): """ n 为 多项式的次数 """ # 随机初始化多项式参数 #numpy.random.rand(d0)的随机样本位于[0, 1)之间。d0表示返回多少个 p_init = np.random.rand(M+1) #生成M+1个随机数的列表 # 最小二乘法 p_lsq = leastsq(residuals_func, p_init, args=(x, y)) # 三个参数：误差函数、函数参数列表、数据点 print('Fitting Parameters:', p_lsq[0]) # 可视化 plt.plot(x_points, func(x_points), label='real') plt.plot(x_points, fit_func(p_lsq[0], x_points), label='fitted curve') plt.plot(x, y, 'bo', label='noise') plt.legend() return p_lsq # M=0 p_lsq = fitting(M=0) ``` 我们从一次函数依次增加项式，找到最合适的拟合曲线。到9次的时候，已经过拟合这些点了 。  #### （2） 过拟合的情况下，引入正则化项进行优化实现，写出代码和可视化结果。 ```python def residuals_func_regularization_l1(p, x, y): """L1正则化""" ret = fit_func(p, x) - y ret = np.append(ret, np.sqrt(regularization*abs(p))) # L1范数作为正则化项 return ret def residuals_func_regularization_l2(p, x, y): """L2正则化""" ret = fit_func(p, x) - y ret = np.append(ret, np.sqrt(0.5*regularization*np.square(p))) # L2范数作为正则化项 return ret ``` 加入了正则化的最小二乘法 ```python def draw(M=9): p_lsq_M = fitting(M) # 最小二乘法,加正则化项 p_init = np.random.rand(M+1) p_lsq_regularization_l1 = leastsq(residuals_func_regularization_l1, p_init, args=(x, y)) p_lsq_regularization_l2 = leastsq(residuals_func_regularization_l2, p_init, args=(x, y)) plt.plot(x_points, real_func(x_points), label='real') plt.plot(x_points, fit_func(p_lsq_M[0], x_points), label='fitted curve') plt.plot(x_points, fit_func(p_lsq_regularization_l1[0], x_points), label='regularization_l1') plt.plot(x_points, fit_func(p_lsq_regularization_l2[0], x_points), label='regularization_l2') plt.plot(x, y, 'bo', label='noise') plt.legend() plt.show() ```  可视化结果 ## 四、实验安全事项 实验过程中注意用电安全。 ## 五、实验提交方式 √ 实验报告 □现场打分 □线上平台提交 # 实验二 线性分类模型 ## 一、实验目的 1. 掌握感知æ