[校招-基础算法]GBDT_XGBoost常见问题 - 知乎1

**XGBoost与GBDT的关系和区别** XGBoost是由陈天奇开发的高效、灵活且可并行化的梯度增强决策树（Gradient Boosting Decision Tree, GBDT）库。GBDT是一种集成学习方法，它通过迭代构建一系列弱预测器（通常是决策树），并将它们的预测结果组合起来形成一个强预测器。XGBoost是对GBDT算法的工程实现，它在GBDT的基础上进行了多项优化，以提高效率和模型性能。 **XGBoost的优化措施** 1. **正则项**：XGBoost引入了正则项来控制模型复杂度，防止过拟合。它不仅对树的叶子节点权重进行L2正则化，还对树的结构（如叶子节点数量）进行正则化。 2. **二阶导数信息**：XGBoost对损失函数进行了二阶泰勒展开，利用一阶和二阶导数信息，使模型更精确地逼近真实损失。 3. **列抽样（Column Sampling）**：类似于随机森林，XGBoost在每轮迭代时可以从特征中随机选择一部分，增加了模型的多样性，降低了过拟合风险。 4. **处理缺失值**：XGBoost能自动处理缺失值，它在寻找最佳分割点时不考虑缺失值，或者学习如何处理这些缺失值。 5. **并行化**：特征维度的并行化是XGBoost的一大亮点。预先对特征进行排序并存储为块结构，便于多线程并行查找最佳分割点，显著加速训练过程。 **GBDT的梯度问题** 在GBDT中，梯度是针对损失函数对每个决策树的预测值的导数。对于具有m个样本和n个特征的数据集，如果是逻辑回归（LR），梯度是n+1维的（n维特征加1维偏置项）。在GBDT中，梯度是m维的，因为它对应于每个样本的损失函数对当前树的导数。 **XGBoost防止过拟合的方法** 1. **正则化**：通过限制模型复杂度，如叶子节点数量和权重的L2正则化。 2. **列抽样**：只使用部分特征进行训练，减少过拟合。 3. **子采样**：在每轮迭代中随机选取部分样本。 4. **早停策略**：如果验证集上的性能不再改善，提前终止训练。 5. **学习率 shrinkage**：减小学习率并增加树的数量，使得模型训练更加稳健。 **调优参数** 当XGBoost模型出现过拟合时，可以通过以下参数调整： 1. **模型复杂度参数**：如最大深度`max_depth`、最小叶子节点权重`min_child_weight`和最小划分损失`gamma`。 2. **增加随机性**：通过`subsample`（特征子采样）和`colsample_bytree`（列子采样）引入随机性。 3. **学习率和迭代次数**：减小`learning_rate`并增加`n_estimators`，以平衡模型复杂度和训练时间。 **XGBoost处理缺失值的方法** XGBoost在处理缺失值时有以下策略： 1. **忽略法**：在寻找最佳分割点时不考虑缺失值。 2. **学习法**：学习最佳的处理策略，即根据其他特征的值来决定如何处理缺失值。 3. **平均值或众数填充**：对于数值特征，使用平均值；对于类别特征，使用众数。 通过这些优化和策略，XGBoost在许多实际问题中表现出色，尤其在 Kaggle 竞赛和工业应用中。