Fisher线性判别.pdf
需积分: 0 118 浏览量
2021-01-16
20:56:46
上传
评论 1
收藏 1.74MB PDF 举报
Fisher 线性判别分类 Iris 和 Sonar 数据集
摘要
分类是我们日常生活中经常要使用到的一种算法，而其中有很多情况下如果数据线
性可分那么我们尽可能的会使用线性分类器对数据进行分类，而其中 Fisher 线性分类是
其中很重要的一种分类方式。
根据机器学习任务的常规顺序，我们首先需要将数据集进行分类，将一个数据集分
类训练集和测试集，分类原则为：训练集和测试集应当完全相似，没有分别的明显特征，
若是数据集本身来源正常，没有特意区分的话，则可以选择任一连续的部分作为训练集，
剩余部分作为测试集。若是数据集的分布有明显的变化趋势，则应当选择均匀采样或者
随机采样的方式选择训练集。
我们选择 UCI 数据集作为我们的原始数据，UCI 数据集为机器学习中常用的数据集，
其中的数据来源于实际，随机分布无明显变化趋势，所以我们采用两段分割的方式选择
训练集和测试集，而选择变化训练集和测试集的比例来检验训练集的样本个数变化对训
练结果的影响。
首先选择其中的 Sonar 数据集来做二分类，Sonar 数据集包含两类数据，包含 207
个样本，每个样本含有 60 个特征，如果对于高维数据都有很好的分类效果，那么就可
以证明 Fisher 线性判别可以运用在日常大多数的分类任务。根据数据线性可分的性质可
知，两组可分的数据必然存在差异，由于数据比较多，所以我们首先计算出各类数据的
中心点，然后定义类内的离散度来度量数据的离散程度，同时根据两类数据的不同定义
类间离散度，然后根据两类离散度定义，依据类内离散度最小同时类间离散度最大的原
则定义优化函数。然后对优化函数进行显式化简，利用拉格朗日函数将函数转化，最终
化简得到结果，将此结果用于数据集中来验证其分类效果。
然后将二分类任务进行拓展，对于线性可分的多分类问题其实就是多次的二分类任
务，Iris 数据集包含三类数据，150 个样本，每个样本包含 4 个特征，针对这个问题我们
进行三次 Fisheries 分类，分为第一类和第二类，第一类和第三类，第二类和第三类，然
后将三种结果组合，用于数据集中，验证其分类效果，如果可以运用在三分类问题中，
那么就可以将其运用在更高维的线性可分类任务中。
最后我们得到了对两个数据集的分类结果，对 Sonar 数据集进行的二分类问题来说
可以达到 80%的分类准确率，对 Iris 数据集进行的三分类问题来说可以到达 90%的分类
准确率。
对结果进行分析，发现二分类问题反而没有三分类问题的效果好，于是分析两个问
题的区别，并选择其中的样本特征做分析，由于 Sonar 有 60 个特征，导致数据的维度
非常高，而且在分类时将所有维度都同等对待，但是不同的特征对于数据集的区分贡献
必不相同，于是我们随机选择其中的部分特征重新进行分类，最终得出结论。
关键词：Fisher 线性判别 UCI 数据集 二分类问题 多分类问题
剩余23页未读，继续阅读
资源评论
