集成学习算法题.pdf

概述 集成学习(Ensemble Learning)是将多个弱机器学习器结合，构建一个有较强性能的机器学习器的方法。 构成集成学习的弱学习器称为基学习器、基估计器。 根据集成学习的各基估计器类型是否相同，可以分为同质和异质两种方法。 集成学习常用的方法有Bagging,、随机森林、AdaBoost、梯度树提升(Gradient Tree Boosting)、XGBoost等方法。 分类 根据每个基学习器是否同属一个种类。可以将集成学习分为同质和异质两种类型。 同质集成学习 同质表示各个基学习器都属于同一个种类，比如都是决策树学习器，或者同为神经网络学习器。 目前来说，同质个体学习器的应用最为广泛。一般的集成学习均指同质个体学习器。而同质个体学习器使用最多的模型是CART决策树和神经网络。 同质个体学习器按照个体学习器之间是否存在依赖关系可以分为两类。 第一种是个体学习器之间不存在强依赖关系，一系列个体学习器可以并行生成，代表算法有Bagging和随机森林（Random Forest）系列算法。 第二类是个体学习器之间存在强依赖关系，一般来说当前的个体学习器的输入要依赖