自实1701_李星毅_L4习题1
Logistic 回归、Fisher 判别函数、K 均值聚类法 Logistic 回归是机器学习中的一种常用算法,它主要用于二分类问题。Logistic 回归的误差函数为: 𝐸𝑖𝑛 𝑤 =1𝑁∑𝑁1 ln (1 + exp ( ― 𝑦𝑛𝑤𝑇𝑥𝑛)) 其中,𝑦𝑛取值为+1或-1,𝑤是参数向量,𝑥𝑛是输入向量,𝑁是样本数量。 推导出该误差函数的梯度表达式需要使用链式法则和求和的性质。首先,对于每个样本,将误差函数展开: 𝐸𝑖𝑛 𝑤 = ln (1 + exp ( ― 𝑦𝑛𝑤𝑇𝑥𝑛)) 然后,对于每个样本,计算梯度: ∂𝐸𝑖𝑛 𝑤/∂𝑤 = - 𝑦𝑛𝑥𝑛 / (1 + exp ( ― 𝑦𝑛𝑤𝑇𝑥𝑛)) 接着,对所有样本求和: ∂𝐸𝑖𝑛 𝑤/∂𝑤 = - ∑ 𝑦𝑛𝑥𝑛 / (1 + exp ( ― 𝑦𝑛𝑤𝑇𝑥𝑛)) Fisher 判别函数是一种常用的降维方法,它可以将高维空间中的数据投影到低维空间中,从而使数据更易于分类。Fisher 判别函数的目的是找到一个投影方向,使得投影后的数据点之间的距离最大化。 Fisher 判别函数的公式为: 𝑊 = arg max |𝑆𝑏/𝑆𝑤| 其中,𝑆𝑏是between-class covariance matrix,𝑆𝑤是within-class covariance matrix。 在给定的例子中,我们需要使用 Fisher 判别函数法来求出最佳投影方向 𝑊。首先,计算每一类的中心: 𝜇1 = (5+7+10+11.5+14+12)/6 𝜇2 = (35+39+34+37)/4 然后,计算类内离差阵: 𝑆𝑤 = 𝑆1 + 𝑆2 其中,𝑆1和𝑆2是每一类的covariance matrix。 接着,计算类间离差阵: 𝑆𝑏 = (𝜇1 - 𝜇2)(𝜇1 - 𝜇2)ᵀ 最后,计算投影方向 𝑊: 𝑊 = 𝑆𝑤⁻¹𝑆𝑏 K 均值聚类法是一种常用的聚类算法,它可以将数据分成多个类别。K 均值聚类法的步骤为: 1. 随机初始化类心 2. 将每个样本分配到最近的类心 3. 更新类心 4. 重复步骤2和3直到类心收敛 在给定的例子中,我们需要使用 K 均值聚类法将数据聚类成 3 类。首先,随机初始化三类的类心。然后,对每个样本计算其所属的类别,并更新类心。重复这个过程直到类心收敛。 在这个例子中,我们可以看到,使用 K 均值聚类法可以将数据聚类成三类,每类的类心分别为: 𝜇1 = (2.5, 6.5) 𝜇2 = (5.5, 4.5) 𝜇3 = (7.5, 3.5) 这个例子展示了 Logistic 回归、Fisher 判别函数和 K 均值聚类法的应用,它们都是机器学习中常用的算法,可以用于解决分类和聚类问题。
- 粉丝: 22
- 资源: 297
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- 创新实践CNN车牌识别项目
- 小程序版图像分类算法对中文数字识别-不含数据集图片-含逐行注释和说明文档.zip
- 公交卡管理系统一个实验
- C语言学生成绩管理系统(信息可保存读取txt文件)
- 网上零食销售系统论文.docx
- 小程序版图像分类算法对电脑配件分类识别-不含数据集图片-含逐行注释和说明文档.zip
- 小程序版深度学习CNN训练识别8种水果-不含数据集图片-含逐行注释和说明文档.zip
- 小程序版基于深度学习对手势动作分类识别-不含数据集图片-含逐行注释和说明文档.zip
- 小程序版深度学习CNN训练识别手写数字图像中的数字分类-不含数据集图片-含逐行注释和说明文档.zip
- 小程序版python语言pytorch框架的图像分类10种动物识别-不含数据集图片-含逐行注释和说明文档.zip
评论0