知识篇——基于AdaBoost的分类问题
75 浏览量
2021-01-27
13:48:28
上传
评论
收藏 134KB PDF 举报
知识篇知识篇——基于基于AdaBoost的分类问题的分类问题
这一生活问题映射到计算机世界就变成了元算法（meta-algorithm）或者集成方法（ensemble method）。这种集成可以是不
同算法的集成，也可以是同一算法在不同设置下的集成，还可以是数据集不同部分分配给不同分类器之后的集成。AdaBoost
就是一种最流行的元算法。
什么是AdaBoost
AdaBoost是adaptive boosting的缩写，boosting是一种与bagging很类似的技术，将原始数据集选择S次后得到S个新数据集，
新数据集与原始数据集大小相等，每个数据集都是通过在原始数据集中随机选择一个样本来替换得到的，这就意味着可以多次
选择同一个样本。在S个数据集建好之后，将某个学习算法分别作用于每个数据集就得到了S个分类器，当我们要对新数据分
类时，就可以用这S个分类器进行分类，选择分类器投票结果最多的类别作为最后分类结果。boosting通过集中关注被已有分
类器错分的数据来获得新的分类器，boosting给每个分类器的权重不相等，每个权重代表的是对应的分类器在上一轮迭代中的
成功度，分类结果是基于所有分类器的加权求和得到的。
为什么要用AdaBoost（为什么要用弱分类器和多个实例来构建一个强分类器）
等待答案中。。。
Adaboost算法流程是什么
1）给数据中的每一个样本一个权重
2）训练数据中的每一个样本，得到第一个分类器
3）计算该分类器的错误率，根据错误率计算要给分类器分配的权重（注意这里是分类器的权重）
4）将第一个分类器分错误的样本权重增加，分对的样本权重减小（注意这里是样本的权重）
5）然后再用新的样本权重训练数据，得到新的分类器，到步骤3
6）直到步骤3中分类器错误率为0，或者到达迭代次数
7）将所有弱分类器加权求和，得到分类结果（注意是分类器权重）
解释：步骤3中，错误率的定义是：
错误率.png分类器的权重计算公式是：
步骤4中，错误样本权重更改公式为：
正确样本权重更改公式为：
资源评论
