没有合适的资源?快使用搜索试试~ 我知道了~
资源详情
资源评论
资源推荐
梯度提升与GBDT原理解析
主要参考资料如下:
李航老师《统计学习方法》8.4节
机器学习-一文理解GBDT的原理-20171001
GBDT、XGBoost、LightGBM 的使用及参数调优
梯度提升树(Gradient Boosting Decision Tree, GBDT)是Boosting族算法中的重要代表,也是统计学习中性能最
好的方法之一。在这篇笔记中,我们首先介绍GBDT的基本原理,然后引出更加一般的梯度提升算法框架。
1. GBDT 回归原理
GBDT是一种迭代的决策树算法,又被称为MART(Multiple Additive Regression Tree)。GBDT一般采用CART回归
树(即二叉回归树)作为基学习器,利用前向分布算法和加法模型来实现最终的学习器。我们针对回归问题来对
GBDT的原理进行说明。
GBDT可以表示为决策树的加法模型:
其中 表示一颗决策树; 为决策树的参数; 为树的个数。
假设训练数据集 。回忆一下CART回归树的算法,如果将输入空间 划分为
个互不相交的区域 ,并且在每个区域上确定输出的常量 ,那么树可表示为
其中,参数 表示树的区域划分和各区域上的常数。 是回归树的复杂度,即
叶结点个数。
GBDT采用以下前向分步算法:
在前向分步算法的第 步,给定当前模型 ,需求解
陈后主
- 粉丝: 30
- 资源: 341
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功
评论0