第八章 集成学习1

集成学习是一种有效的机器学习策略，它通过合并多个学习器的预测来提高整体的泛化能力。这个概念基于“群体智慧”，即多个独立的、相对简单的学习器组成的集合，其综合性能通常超过任何一个单一学习器。集成学习的主要目标是构建一个“学习器委员会”，确保每个学习器都有一定的准确性和多样性。 8.1 个体与集成 集成学习的基本框架包括两步：首先生成一组个体学习器，然后采用特定策略将它们融合。个体学习器可以是同质的，即所有学习器都基于同一类算法（如都是决策树或神经网络），这种情况下，它们被称为基学习器，对应的算法是基学习算法。而异质集成则是由不同类型的算法组成，如决策树和神经网络混合，这样的个体学习器称为组件学习器。 集成学习的关键在于平衡准确性和多样性。准确性的要求是每个学习器的性能不应过低，而多样性则强调学习器间的预测结果要有差异，这样集成后能减少错误并增强泛化能力。如果个体学习器既准确又多样，那么集成模型的性能通常会显著提升。 8.2 Boosting Boosting 是一种集成学习方法，它以串行的方式训练学习器。每个新的学习器都会重点处理前一个学习器错误分类的样本，以减少错误并逐渐改进整体性能。最著名的 Boosting 算法是 AdaBoost，它采用指数损失函数，并通过动态调整样本权重和基学习器权重来优化这一损失函数。 在 AdaBoost 中，初始所有样本的权重相同，然后在每一轮迭代中，错误分类的样本权重会增加，使得下一轮的基学习器更加关注这些样本。最终，通过加权组合所有基学习器的预测，形成一个强分类器。AdaBoost 的核心步骤包括初始化样本权重、训练弱分类器和组合弱分类器，这些步骤都是围绕最小化指数损失函数进行的。 总结来说，集成学习，特别是 Boosting，通过协调多个学习器的准确性和多样性，提高了模型的泛化能力。AdaBoost 是 Boosting 方法的代表，它通过动态调整样本权重和学习器权重，使得学习过程聚焦于解决错误分类问题，从而构建出一个强大的分类系统。这种策略在实践中已被证明非常有效，广泛应用于各种机器学习任务。