1
人工智能和机器学习之分类算法：梯度提升机（GBM）：
梯度提升机的过拟合与欠拟合问题
1 梯度提升机简介
1.1 GBM 的基本原理
梯度提升机(Gradient Boosting Machine, GBM)是一种迭代的决策树算法，通
过构建一系列弱学习器并逐步优化，最终形成一个强大的预测模型。GBM 的核
心思想是利用前一个模型的残差作为当前模型的训练目标，通过梯度下降法来
最小化损失函数。这种算法特别适用于处理具有大量特征和复杂关系的数据集。
1.1.1 梯度提升过程
1. 初始化模型：通常从一个常数开始，作为所有样本的初始预测值。
2. 迭代训练：在每次迭代中，计算当前模型的残差（即实际值与预
测值之间的差异），然后训练一个新的弱学习器（如决策树）来拟合这些
残差。
3. 更新模型：将新训练的弱学习器加入到当前模型中，通过加权求
和的方式更新预测值。
4. 重复步骤 2 和 3：直到达到预设的迭代次数或模型性能不再提升。
1.1.2 代码示例
下面是一个使用 Python 的 sklearn 库实现 GBM 分类器的示例。我们将使用
一个简单的数据集来演示如何训练和评估 GBM 模型。
#
导入必要的库
from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split
from sklearn.ensemble import GradientBoostingClassifier
from sklearn.metrics import accuracy_score
#
生成分类数据集
X, y = make_classification(n_samples=1000, n_features=20, n_informative=15, n_redundant=5, r
andom_state=42)
#
划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
#
初始化
GBM
分类器
gbm = GradientBoostingClassifier(n_estimators=100, learning_rate=0.1, max_depth=3, random_s
tate=42)
剩余18页未读，继续阅读
资源评论
