没有合适的资源?快使用搜索试试~ 我知道了~
2.初级学习器的输出类概率作为次级学习器的输入属性 3.用多响应回归(Multi-response linear regression,MLR)作为次级 1.
资源详情
资源评论
资源推荐
集成学习
Ensemble Learning
集成学习基础
集成学习:构建并结合多个个体学习器来完成学习任务。
基学习器:集成的学习器都是同种类型的。
组件学习器:集成的学习器包含不同的类型。
强可学习:在概率近似正确(Probably approximately correct,
PAC)学习的框架汇总,一个概念,如果存在一个多项式的学习算
法能够学习它,并且正确率很高,那么就称这个概念是强可学习的
弱可学习:一个概念,如果存在一个多项式的学习算法能够学习
它,学习的正确率仅比随机猜测略好,那么这个概念是弱可学习的
定理:在PAC学习的框架下,一个概念是强可学习的充分必要条件是
这个概念是弱可学习的。
集成学习通常研究弱学习器!
2
集成学习的好处:
从统计的角度:学习任务的假设空间很大,可能有多个假设在训练
集上达到同等性能,单个学习器可能因误选导致泛化性能不佳。
从计算的角度:学习算法往往会陷入局部极小,多次运行之后进行
结合,可降低陷入糟糕局部极小点的风险。
从表示的角度:某些学习任务的真实假设可能不在当前学习算法的
假设空间中,通过结合多个学习器,有可能学得更好的近似。
3
假设集成包含 个学习器 , 集成结果是 . 是学
习器 在类别 上的输出.
学习器的结合策略:
均匀组合:
加权平均: , 其中 以及
绝对多数投票:
相对多数投票:
加权投票: , 其中 以
及 .
T h , h , … , h
1 2 T
H h (x)
t c
h (x)
t
c
H (x) = h (x)
T
1
∑
t=1
T
t
H (x) = α h (x)∑
t=1
T
t t
∀t, α ≥
t
0
α =∑
t=1
T
t
1
H (x) =
⎩
⎪
⎨
⎪
⎧
c
拒绝预测
若 h (x) > h (x)
t=1
∑
T
t c
2
1
c=1
∑
C
t=1
∑
T
t c
否则
H (x) = arg max h (x)
c
t=1
∑
T
t c
H (x) = arg max α h (x)
c
∑
t=1
T
t t c
∀t, α ≥
t
0
α =∑
t=1
T
t
1
4
剩余22页未读,继续阅读
maXZero
- 粉丝: 22
- 资源: 303
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功
评论0