1
人工智能和机器学习之分类算法：梯度提升机（GBM）：
梯度提升机的过拟合与欠拟合问题
1 梯度提升机简介
1.1 GBM 的基本原理
梯度提升机(Gradient Boosting Machine, GBM)是一种迭代的决策树算法，通
过构建一系列弱学习器并逐步优化，最终形成一个强大的预测模型。GBM 的核
心思想是利用前一个模型的残差作为当前模型的训练目标，通过梯度下降法来
最小化损失函数。这种算法特别适用于处理具有大量特征和复杂关系的数据集。
1.1.1 梯度提升过程
1. 初始化模型：通常从一个常数开始，作为所有样本的初始预测值。
2. 迭代训练：在每次迭代中，计算当前模型的残差（即实际值与预
测值之间的差异），然后训练一个新的弱学习器（如决策树）来拟合这些
残差。
3. 更新模型：将新训练的弱学习器加入到当前模型中，通过加权求
和的方式更新预测值。
4. 重复步骤 2 和 3：直到达到预设的迭代次数或模型性能不再提升。
1.1.2 代码示例
下面是一个使用 Python 的 sklearn 库实现 GBM 分类器的示例。我们将使用
一个简单的数据集来演示如何训练和评估 GBM 模型。
#
导入必要的库
from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split
from sklearn.ensemble import GradientBoostingClassifier
from sklearn.metrics import accuracy_score
#
生成分类数据集
X, y = make_classification(n_samples=1000, n_features=20, n_informative=15, n_redundant=5, r
andom_state=42)
#
划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
#
初始化
GBM
分类器
gbm = GradientBoostingClassifier(n_estimators=100, learning_rate=0.1, max_depth=3, random_s
tate=42)
剩余18页未读，继续阅读
资源评论
kkchenjj
- 粉丝: 2w+
- 资源: 5543
最新资源
- 电子学习资料设计作品全资料MCGS数据采集单片机数据传送的设计资料
- 电子学习资料设计作品全资料nrf905射频发送电路图和C程序源代码
- 数据库课设自留保存，学生选课系统
- 电子学习资料设计作品全资料PC机与单片机通信(RS232协议)
- 小羽_0.5.8-freedom.apk.1.1.1
- 电子学习资料设计作品全资料PC红外线遥控器
- Java毕设项目：基于spring+mybatis+maven+mysql实现的优选生鲜电商系统【含源码+数据库+毕业论文】
- Axture 实现一个简单的父子菜单
- 电子学习资料设计作品全资料pc智能家电控制盒
- 电子学习资料设计作品全资料PICICD2仿真器的原理图与PCB资料
- 电子学习资料设计作品全资料PLC电梯控制系统
- 基于SpringBoot+MyBatisPlus+Mysql+Redis+vue实现的个人博客管理系统前后端分离完整源码+数据库
- idea mybatis log 插件
- 电子学习资料设计作品全资料PLC控制电梯的设计资料
- 电子学习资料设计作品全资料PLL电路的研究及在信号产生中的应用资料
- 基于springboot+websoket+vue实现的即时聊天室系统，包含了群聊、单聊以及音乐播放等功能【完整源码+数据库】
资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！
点击此处反馈
