10.1 集成学习 2019 年 4 月 6 日 233
Bagging 类方法 Bagging 类方法是通过随机构造训练样本、随机选择特征等方
法来提高每个基模型的独立性，代表性方法有 Bagging 和随机森林等。
Bagging（Bootstrap Aggregating）是一个通过不同模型的训练数据集的独
立性来提高不同模型之间的独立性。我们在原始训练集上进行有放回的随机采
样，得到 M 比较小的训练集并训练 M 个模型，然后通过投票的方法进行模型
集成。
随机森林（Random Forest）[Breiman, 2001] 是在 Bagging 的基础上再引入
了随机特征，进一步提高每个基模型之间的独立性。在随机森林中，每个基模
型都是一棵决策树。
Boosting 类方法 Bo osting 类方法是按照一定的顺序来先后训练不同的基模
型，每个模型都针对前序模型的错误进行专门训练。根据前序模型的结果，来
调整训练训练样本的权重，从而增加不同基模型之间的差异性。Boosting 类方
法是一种非常强大的集成方法，只要基模型的准确率比随机猜测好，就可以通
过集成方法来显著地提高集成模型的准确率。Boosting 类方法的代表性方法有
AdaBo ost[Freund et al., 1996] 等。
10.1.1 AdaBo ost 算法
Boosting 类集成模型的目标是学习一个加性模型（additive model）
F (x) =
M
m=1
α
m
f
m
(x), (10.10)
其中 f
m
(x) 为弱分类器（Weak Classifier），或基分类器（Base Classifier），α
m
为弱分类器的集成权重，F (x) 称为强分类器（Strong Classifier）。
Boosting类方法的关键是如何训练每个弱分类器f
m
(x)以及对应的权重α
m
。
为了提高集成的效果，应当尽量使得每个弱分类器的差异尽可能大。一种有效的
算法是迭代的方法来学习每个弱分类器，即按照一定的顺序依次训练每个弱分
类器。在学习了第 m 个弱分类器后，增加其分错样本的权重，使得第 m + 1 个弱
分类器“更关注”于前面弱分类器分错的样本。这样增加每个弱分类器的差异，
最终提升的集成分类器的准确率。这种方法称为AdaBoost（Adaptive Boosting）
算法。
AdaBoost 算法是一种迭代式的训练算法，通过改变数据分布来提高弱分类
器的差异。在每一轮训练中，增加分错样本的权重，减少分对样本的权重，从
而得到一个新的数据分布。
以两类分类为例，弱分类器 f
m
(x) ∈ {+1, −1}，AdaBoost 算法的训练过程
如算法10.1所示。最初赋予每个样本同样的权重。在每一轮迭代中，根据当前
邱锡鹏：《神经网络与深度学习》 https://nndl.github.io/
评论0