没有合适的资源?快使用搜索试试~ 我知道了~
gboost算法原理与实战.doc.pdf
1.该资源内容由用户上传,如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
版权申诉
0 下载量 26 浏览量
2023-02-27
21:10:50
上传
评论
收藏 207KB PDF 举报
温馨提示
试读
4页
。
资源推荐
资源详情
资源评论
xgboost 算法原理与实战
前言:
xgboost 是大规模并行 boosted tree 的工具,它是目前最快最好的开源 boosted tree 工具包,
kaggle 选手选用它进行数据挖掘比
比常见的工具包快
10
倍以上。在数据科学方面,有大量
赛,其中包括两个以上
kaggle 比赛的夺冠方案。在工业界规模方面, xgboost 的分布式版本
有广泛的可移植性,支持在
花了几天时间粗略地看完了
给我的感觉就是
xgboost 算法
相关文献资料:
Xgboost Slides XGBoost 中文版原理介绍
Boosting System XGBoost Parameters (official guide)
YARN, MPI, Sungrid Engine 等各个平台上面运行,并且保留了单
机并行版本的各种优化,使得它可以很好地解决于工业界规模的问题。
xgboost 原论文和作者的 slide 讲解,仅仅是入门入门入门笔记。
原始论文 XGBoost: A Scalable Tree
精彩博文: XGBoost 浅入浅出 —— wepon xgboost: 速度快效果好的
Guide to Parameter Tuning in XGBoost (with codes in Python)
一、 xgboost 基本原理介绍
boosting 模型 Complete
1.提升方法是一种非常有效的机器学习方法,在前几篇笔记中介绍了提升树与
理, xgboost ( eXtreme Gradient Boosting )可以说是提升方法的完全加强版本。
在各大比赛中展现了强大的威力,引用原论文中的一段描述:
GBDT 基本原
xgboost 算法
The impact of the system has been widely recognized in a number of machine learning and data
mining challenges. Take the challenges hosted by the machine learning competition site Kaggle
for example. Among the 29 challenge winning solutions published at Kaggle
’ s blog during 2015,
the
the
a
17 solutions used XGBoost. Among these solutions, eight solely used XGBoost to train
model,while most others combined XGBoost with neural nets in ensembles. For comparison, the
second most popular method,deep neural nets, was used in 11 solutions. The success of
system was also witnessed in KDDCup 2015, where XGBoost was used by every winning team in
the top -10.Moreover, the winning teams reported that ensemble methods outperform
well -configured XGBoost by only a small amount.
(1) .Regression Tree (CART) 回归树
(2) .Regression Tree Ensemble 回归树集成
2.Regression Tree and Ensemble (What are we Learning ,得到学习目标 )
在上面的例子中, 我们用两棵树来进行预测。 我们对于每个样本的预测结果就是每棵树预测分
数的和。
(3) .Objective for Tree Ensemble 得到学习目标函数
这里是构造一个目标函数, 然后我们要做的就是去尝试优化这个目标函数。
读到这里, 感觉
与 gbdt 好像没有什么区别,确实如此,不过在后面就能看到他们的不同了(构造(学习)
模型参数)。
3.Gradient Boosting (How do we Learn ,如何学习 )
(1) .So How do we Learn? 目标函数:
(2) .Additive Training
资源评论
G11176593
- 粉丝: 6690
- 资源: 3万+
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功