xgboost_with_python（英文原版经典教材）.pdf资源-CSDN文库

需积分: 5 31 浏览量 2022-12-02 15:47:48 上传评论收藏 1.19MB PDF 举报

《XGBoost with Python》是Jason Brownlee撰写的一本关于使用Python进行XGBoost建模的经典教程。本书详细介绍了XGBoost的基本概念、工作原理以及如何在Python环境中使用scikit-learn库进行实践。书中对XGBoost的介绍始于梯度提升算法的概述。梯度提升起源于提升方法，最初由AdaBoost算法引入，它是一种通过组合弱学习器形成强学习器的方法。随后，AdaBoost被推广为更一般的梯度提升框架，其核心思想是通过迭代地添加新模型来逐步改进预测效果，新模型专注于纠正前一轮中残差较大的样本。接着，作者深入浅出地讲解了XGBoost的核心特点和优势。XGBoost是一种优化的分布式梯度提升库，设计目标是为了速度和效率，支持多种编程语言，并且在许多机器学习竞赛中表现优异。它采用了决策树作为基学习器，并通过并行化处理和优化算法实现快速训练。在书中，读者将学习如何在Python环境中安装和使用XGBoost。例如，通过scikit-learn接口，可以轻松地构建和训练第一个XGBoost模型。书中的示例问题选择了预测糖尿病的发病情况，这是一个典型的回归任务。作者会指导读者如何准备数据集，定义模型参数，训练模型，并进行预测。此外，书中还涉及了如何评估模型性能，调优参数以提高模型预测精度。XGBoost提供了多种内置的评价指标，如均方误差（MSE）、平均绝对误差（MAE）等，这些可以帮助我们量化模型的优劣。调参通常包括调整树的深度、学习率、正则化参数等，以防止过拟合或欠拟合。更进一步，书中还会介绍特征重要性的计算和可视化，这对于理解模型的预测行为至关重要。此外，XGBoost还支持并行化计算，能够处理大规模数据，这在处理海量数据时具有显著优势。《XGBoost with Python》是一本全面而深入的指南，适合对机器学习有一定基础，希望掌握高效增强学习方法的读者。通过阅读本书，读者不仅可以了解梯度提升算法的原理，还能学会如何在实际项目中运用XGBoost进行数据建模和预测。无论是初学者还是经验丰富的数据科学家，都能从中受益，提升自己的机器学习技能。

资源详情

资源评论









Contents

I Introduction 1

1 Welcome 2

1.1 Book Organization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2

1.2 Requirements For This Book . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4

1.3 Your Outcomes From Reading This Book . . . . . . . . . . . . . . . . . . . . . . 4

1.4 What This Book is Not . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5

1.5 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5

II XGBoost Basics 7

2 A Gentle Introduction to Gradient Boosting 8

2.1 Origin of Boosting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8

2.2 AdaBoost the First Boosting Algorithm . . . . . . . . . . . . . . . . . . . . . . . 9

2.3 Generalization of AdaBoost as Gradient Boosting . . . . . . . . . . . . . . . . . 9

2.4 How Gradient Boosting Works . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10

2.5 Improvements to Basic Gradient Boosting . . . . . . . . . . . . . . . . . . . . . 11

2.6 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13

3 A Gentle Introduction to XGBoost 14

3.1 What is XGBoost? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14

3.2 XGBoost Features . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15

3.3 Why Use XGBoost? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16

3.4 What Algorithm Does XGBoost Use? . . . . . . . . . . . . . . . . . . . . . . . . 17

3.5 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17

4 Develop Your First XGBoost Model in Python with scikit-learn 18

4.1 Install XGBoost for Use in Python . . . . . . . . . . . . . . . . . . . . . . . . . 18

4.2 Problem Description: Predict Onset of Diabetes . . . . . . . . . . . . . . . . . . 19

4.3 Load and Prepare Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19

4.4 Train the XGBoost Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20

4.5 Make Predictions with XGBoost Model . . . . . . . . . . . . . . . . . . . . . . . 21

4.6 Tie it All Together . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21

4.7 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22

iii

5 Data Preparation for Gradient Boosting 23

5.1 Label Encode String Class Values . . . . . . . . . . . . . . . . . . . . . . . . . . 23

5.2 One Hot Encode Categorical Data . . . . . . . . . . . . . . . . . . . . . . . . . . 25

5.3 Support for Missing Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28

5.4 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31

6 How to Evaluate XGBoost Models 33

6.1 Evaluate Models With Train and Test Sets . . . . . . . . . . . . . . . . . . . . . 33

6.2 Evaluate Models With k-Fold Cross Validation . . . . . . . . . . . . . . . . . . . 34

6.3 What Techniques to Use When . . . . . . . . . . . . . . . . . . . . . . . . . . . 36

6.4 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36

7 Visualize Individual Trees Within A Model 37

7.1 Plot a Single XGBoost Decision Tree . . . . . . . . . . . . . . . . . . . . . . . . 37

7.2 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39

III XGBoost Advanced 40

8 Save and Load Trained XGBoost Models 41

8.1 Serialize Models with Pickle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41

8.2 Serialize Models with Joblib . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42

8.3 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44

9 Feature Importance With XGBoost and Feature Selection 45

9.1 Feature Importance in Gradient Boosting . . . . . . . . . . . . . . . . . . . . . . 45

9.2 Manually Plot Feature Importance . . . . . . . . . . . . . . . . . . . . . . . . . 46

9.3 Using theBuilt-in XGBoost Feature Importance Plot . . . . . . . . . . . . . . . 47

9.4 Feature Selection with XGBoost Feature Importance Scores . . . . . . . . . . . 49

9.5 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50

10 Monitor Training Performance and Early Stopping 51

10.1 Early Stopping to Avoid Overﬁtting . . . . . . . . . . . . . . . . . . . . . . . . . 51

10.2 Monitoring Training Performance With XGBoost . . . . . . . . . . . . . . . . . 51

10.3 Evaluate XGBoost Models With Learning Curves . . . . . . . . . . . . . . . . . 53

10.4 Early Stopping With XGBoost . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56

10.5 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58

11 Tune Multithreading Support for XGBoost 59

11.1 Problem Description: Otto Dataset . . . . . . . . . . . . . . . . . . . . . . . . . 59

11.2 Impact of the Number of Threads . . . . . . . . . . . . . . . . . . . . . . . . . . 60

11.3 Parallelism When Cross Validating XGBoost Models . . . . . . . . . . . . . . . 63

11.4 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65

12 Train XGBoost Models in the Cloud with Amazon Web Services 66

12.1 Tutorial Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66

12.2 Setup Your AWS Account (if needed) . . . . . . . . . . . . . . . . . . . . . . . . 67

12.3 Launch Your Server Instance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67

剩余115页未读，继续阅读

评论收藏

内容反馈

xgboost_with_python（英文原版经典教材）.pdf

评论0

最新资源

xgboost_with_python（英文原版经典教材）.pdf

评论0

最新资源

相关推荐

[machine_learning_mastery系列]xgboost_with_python.pdf

Python Machine Learning（经典英文原版教材）.pdf

Learing Python （经典英文原版教材）.pdf

Begin to Code with Python（经典英文原版教材）.pdf

xgboost_with_python.zip_Xgboost with python_xgboost_xgboost pyth

xgboost_with_python.zip

Deep_Learning_with_Python_Keras（优秀英文原版教材）.pdf

Parameter_Tuning_XGBoost_with_Example

Python_Tricks_－_A_Buffet_of_Awesome_Python_Features（Python英文原版教材）.pdf

Deep-Learning-with-PyTorch（经典英文原版教材）.pdf

Reinforcement Learning（经典英文原版教材）.pdf

c++经典教材（英文原版）

xgboost.dll gpu_enable 2019最新版

introduction_to_ml_with_python-master.zip

Hadoop_with_Python（经典英文原版专著）.pdf

sklearn-xgboost.rar_python xgboost_sklearn_xgboost_xgboost sklea

C_CPP_python.pdf.zip_C python_pdf_python C#_python pdf

Deep_Learning_for_Computer_Vision_with_Python.pdf

xgboost.dll Not GPU-enabled 2019最新版

xgboost算法_python_xgboost预测结果_xgboost_xgboost预测_XGBoost算法

solution_04_ETL_with_python_and_postgres.ipynb

MOSEK_API_for_Python.pdf

Generate_Echarts_options_with_Python._echarts-python.zip

Data_Science_With_Python_Workflow.pdf