Python机器学习(scikit-learn)：监督学习 - 决策树、随机森林、梯度提升决策树-谢TS的博客.pdf

决策树是广泛用于分类和回归任务的模型。本质上它是从一层层 if/else 问题中进行学习并得出结论。集成(ensemble) 是合并多个机器学习模型来构建更强大模型的方法。决策树的主要缺点在于，即使做了预剪枝，它也经常会过拟合，泛化性能很差。因此，在大多数应用中，往往使用集成方法来替代单棵决策树。在机器学习文献中有许多模型都属于集成方法，大量实例已证明有两种集成模型对大量分类和回归的数据集都是有效的，二者都以决策树为基础，分别是 随机森林(random forest) 和 梯度提升决策树(gradient boosted decision tree)。决策树的一个主要缺点在于经常对训练数据过拟合，随机森林是解决这个问题的一种方法。随机森林本质上是许多决策树的集合，其中每棵树都和其他树略有不同。随机森林背后的思想是，每棵树的预测可能都相对较好，但可能对部分数据过拟合。如果构造很多树，并且每棵树的预测都很好，但都以不同的方式过拟合，那么我们可以对这些树的结果取平均值来降低过拟合。既能减少过拟合又能保持树的预测能力，这可以在数学上严格证明。