6.集成学习1
需积分: 0 43 浏览量
2022-08-03
14:53:30
上传
评论
收藏 1.3MB PDF 举报
2022/4/27 6_ensemble_learning
huaxiaozhuan.com/统计学习/chapters/6_ensemble_learning.html 1/14
集成学习
1.
集成学习 ensemble learning 是通过构建并结合多个学习器来完成学习任务。其一般结构为：
先产生一组
“
个体学习器
”
（ individual learner
)
。个体学习器通常由一种或者多种现有的学习算法从
训练数据中产生。
如果个体学习器都是从某一种学习算法从训练数据中产生，则称这样的集成学习是同质的
homogenerous 。
此时的个体学习器也称作基学习器 base learner ，相应的学习算法称作基学习算法。
如果个体学习器是从某几种学习算法从训练数据中产生，则称这样的集成学习是异质的
heterogenous
。
再使用某种策略将它们结合起来。集成学习通过将多个学习器进行组合，通常可以获得比单一学习器显
著优越的泛化性能。
2.
通常选取个体学习器的准则是：
个体学习器要有一定的准确性，预测能力不能太差。
个体学习器之间要有多样性，即学习器之间要有差异。
3.
通常基于实际考虑，往往使用预测能力较强的个体学习器（即强学习器，与之对应的为弱学习器）。
强学习器的一个显著的好处就是可以使用较少数量的个体学习器来集成就可以获得很好的效果。
4.
根据个体学习器的生成方式，目前的集成学习方法大概可以分作两类：
个体学习器之间存在强依赖关系、必须串行生成的序列化方法，每一轮迭代产生一个个体学习器。其中
以 Boosting 为代表。
个体学习器之间不存在强依赖关系、可同时生成的并行化方法。其中以 Bagging 和随机森林 Random
Forest 为代表。
一、集成学习误差
1.
考虑一个二类分类问题。设单个样本为
，真实类别为
。
假定基类分类器的错误率为
，即对每个基分类器
有：
。
假设集成学习通过简单投票法结合
个基分类器
。即：若有超过半数的基分类器正
确，则集成分类就正确。根据描述，给出集成学习器为：
。
集成学习器预测错误的条件为：
个基分类器预测正确，其中
（即：少于一半的基分类器
预测正确），
个基分类器预测错误。
假设基分类器的错误率相互独立，则集成学习器预测错误的概率为：
。
根据 Hoeffding 不等式有：
。
可以看出：随着
，
集成学习器预测错误的概率
。
2.
上述推论有非常关键的一个地方：假设基分类器的错误率相互独立。
实际上个体学习器是为了解决同一个问题训练出来的，而且可能是同一类算法从同一个训练集中产生。
这样个体学习器的错误率显然不能相互独立。
剩余13页未读，继续阅读
熊比哒
- 粉丝: 29
- 资源: 292
最新资源
- pta题库答案c语言之排序4统计工龄.zip
- pta题库答案c语言之树结构7堆中的路径.zip
- pta题库答案c语言之树结构3TreeTraversalsAgain.zip
- pta题库答案c语言之树结构2ListLeaves.zip
- pta题库答案c语言之树结构1树的同构.zip
- 基于C++实现民航飞行与地图简易管理系统可执行程序+说明+详细注释.zip
- pta题库答案c语言之复杂度1最大子列和问题.zip
- 三维装箱问题（Three-Dimensional Bin Packing Problem,3D-BPP）是一个经典的组合优化问题
- 以下是一些关于Linux线程同步的基本概念和方法.txt
- 以下是一个简化的示例，它使用pygame库来模拟烟花动画的框架.txt
资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！
点击此处反馈
评论0