XGBoost、LightGBM、Catboost对比
54 浏览量
2021-01-06
23:45:18
上传
评论 3
收藏 435KB PDF 举报
XGBoost、、LightGBM、、Catboost对比对比
本文主要参考Battle of the Boosting Algos: LGB, XGB, Catboost，结果与原文有出入。
文章目录文章目录1. 对比标准1.1 数据集1.2 规则1.3 版本2. 结果2.1 准确率2.2 训练时间和预测时间2.3 可解释性2.3.1 特征重要性2.3.2 SHAP值2.3.3 可视化二叉树3. 总结4. 代码参考文献
1. 对比标准对比标准
1.1 数据集数据集
分类分类：Fashion MNIST（60000条数据784个特征）
回归回归：NYC Taxi fares（60000条数据7个特征）
大规模数据集大规模数据集：NYC Taxi fares（2百万条数据7个特征）
PS：本文只进行了分类的对比
1.2 规则规则
使用基准模型
使用相同参数训练并利用GridSearchCV调参
比较训练和预测耗时、预测分数、可解释性
1.3 版本版本
xgboost==0.90
lightgbm==2.3.1
catboost==0.21
2. 结果结果
2.1 准确率准确率
LightGBM>XGBoost>CatBoost
2.2 训练时间和预测时间训练时间和预测时间
CatBoost<LightGBM<XGBoost
2.3 可解释性可解释性
XGBoost=LightGBM>Catboost
2.3.1 特征重要性特征重要性
资源评论
