没有合适的资源？快使用搜索试试~ 我知道了~

文库首页安全技术网络安全随机森林 full version1

随机森林 full version1

需积分: 0 1 下载量 135 浏览量 2022-08-03 14:42:45 上传评论收藏 2.6MB PDF 举报

温馨提示

试读

34页

1. 导入我们需要的包 2. 导入需要的数据集 3. 复习:sklearn建模的基本流程 4. 画出随机森林和决策树在一组交叉验证下的效果对比

资源详情

资源评论

资源推荐

菜菜的scikit-learn课堂02

随机森林在sklearn中的实现

小伙伴们晚上好~o(

￣▽￣

)ブ

我是菜菜，这里是我的sklearn课堂第二期，今晚的直播内容是随机森林在sklearn中的实现和调参~

我的开发环境是Jupyter lab，所用的库和版本大家参考：

Python 3.7.1（你的版本至少要3.4以上

Scikit-learn 0.20.0 （你的版本至少要0.19

Numpy 1.15.3, Pandas 0.23.4, Matplotlib 3.0.1, SciPy 1.1.0

请扫码进群领取课件和代码源文件，扫描二维码后回复”K"就可以进群哦~

菜菜的sklearn课堂直播间： https://live.bilibili.com/12582510

sklearn专题第二期：随机森林

菜菜的scikit-learn课堂02

随机森林在sklearn中的实现

随机森林

1 概述

1.1 集成算法概述

1.2 sklearn中的集成算法

2 RandomForestClassiﬁer

2.1 重要参数

2.1.1 控制基评估器的参数

2.1.2 n_estimators

2.1.3 random_state

2.1.4 bootstrap & oob_score

2.2 重要属性和接口

Bonus：Bagging的另一个必要条件

3 RandomForestRegressor

3.1 重要参数，属性与接口

criterion

重要属性和接口

3.2 实例：用随机森林回归填补缺失值

4 机器学习中调参的基本思想

5 实例：随机森林在乳腺癌数据上的调参

6 附录

6.1 Bagging vs Boosting

6.2 RFC的参数列表

6.3 RFC的属性列表

6.4 RFC的接口列表

菜菜的sklearn课堂直播间： https://live.bilibili.com/12582510

sklearn专题第二期：随机森林

集成算法的目标

集成算法会考虑多个评估器的建模结果，汇总之后得到一个综合的结果，以此来获取比单个模型更好的回归或

分类表现。

随机森林

1 概述

1.1 集成算法概述

集成学习（ensemble learning）是时下非常流行的机器学习算法，它本身不是一个单独的机器学习算法，而是通

过在数据上构建多个模型，集成所有模型的建模结果。基本上所有的机器学习领域都可以看到集成学习的身影，在

现实中集成学习也有相当大的作用，它可以用来做市场营销模拟的建模，统计客户来源，保留和流失，也可用来预

测疾病的风险和病患者的易感性。在现在的各种算法竞赛中，随机森林，梯度提升树（GBDT），Xgboost等集成

算法的身影也随处可见，可见其效果之好，应用之广。

多个模型集成成为的模型叫做集成评估器（ensemble estimator），组成集成评估器的每个模型都叫做基评估器

（base estimator）。通常来说，有三类集成算法：装袋法（Bagging），提升法（Boosting）和stacking。

装袋法的核心思想是构建多个相互独立的评估器，然后对其预测进行平均或多数表决原则来决定集成评估器的结

果。装袋法的代表模型就是随机森林。

提升法中，基评估器是相关的，是按顺序一一构建的。其核心思想是结合弱评估器的力量一次次对难以评估的样本

进行预测，从而构成一个强评估器。提升法的代表模型有Adaboost和梯度提升树。



1.2 sklearn中的集成算法

sklearn中的集成算法模块ensemble

菜菜的sklearn课堂直播间： https://live.bilibili.com/12582510

sklearn专题第二期：随机森林

类类的功能

ensemble.AdaBoostClassiﬁer AdaBoost分类

ensemble.AdaBoostRegressor Adaboost回归

ensemble.BaggingClassiﬁer 装袋分类器

ensemble.BaggingRegressor 装袋回归器

ensemble.ExtraTreesClassiﬁer Extra-trees分类（超树，极端随机树）

ensemble.ExtraTreesRegressor Extra-trees回归

ensemble.GradientBoostingClassiﬁer 梯度提升分类

ensemble.GradientBoostingRegressor 梯度提升回归

ensemble.IsolationForest 隔离森林

ensemble.RandomForestClassiﬁer 随机森林分类

ensemble.RandomForestRegressor 随机森林回归

ensemble.RandomTreesEmbedding 完全随机树的集成

ensemble.VotingClassiﬁer 用于不合适估算器的软投票/多数规则分类器

集成算法中，有一半以上都是树的集成模型，可以想见决策树在集成中必定是有很好的效果。在这堂课中，我们会

以随机森林为例，慢慢为大家揭开集成算法的神秘面纱。



复习：sklearn中的决策树

在开始随机森林之前，我们先复习一下决策树。决策树是一种原理简单，应用广泛的模型，它可以同时被用于分类

和回归问题。决策树的主要功能是从一张有特征和标签的表格中，通过对特定特征进行提问，为我们总结出一系列

决策规则，并用树状图来呈现这些决策规则。

菜菜的sklearn课堂直播间： https://live.bilibili.com/12582510

sklearn专题第二期：随机森林

决策树的核心问题有两个，一个是如何找出正确的特征来进行提问，即如何分枝，二是树生长到什么时候应该停

下。

对于第一个问题，我们定义了用来衡量分枝质量的指标不纯度，分类树的不纯度用基尼系数或信息熵来衡量，回归

树的不纯度用MSE均方误差来衡量。每次分枝时，决策树对所有的特征进行不纯度计算，选取不纯度最低的特征进

行分枝，分枝后，又再对被分枝的不同取值下，计算每个特征的不纯度，继续选取不纯度最低的特征进行分枝。

每分枝一层，树整体的不纯度会越来越小，决策树追求的是最小不纯度。因此，决策树会一致分枝，直到没有更多

的特征可用，或整体的不纯度指标已经最优，决策树就会停止生长。

决策树非常容易过拟合，这是说，它很容易在训练集上表现优秀，却在测试集上表现很糟糕。为了防止决策树的过

拟合，我们要对决策树进行剪枝，sklearn中提供了大量的剪枝参数，我们一会儿会带大家复习一下。

菜菜的sklearn课堂直播间： https://live.bilibili.com/12582510

sklearn专题第二期：随机森林

剩余33页未读，继续阅读

内容反馈

稚气筱筱

粉丝: 16
资源: 320

上传资源快速赚钱

我的内容管理展开

我的资源快来上传第一个资源

我的收益

登录查看自己的收益

我的积分登录查看自己的积分

我的C币登录后查看C币余额

我的收藏

我的下载

下载帮助

前往需求广场，查看用户热搜

随机森林 full version1

评论0

最新资源

随机森林 full version1

评论0

Genius Rel. 1.14 (CD Rel. 2.25) Full Version

PSIM 9 full version.rar

Blitz3D Full Version 1.94 完全版 无功能限制 1

1 决策树 full version.pdf

bootstrap inspinia-admin 2.7.1 static full version

Embedded Android (Full Version)

Reflector 7.4.1.179 [Full Version]

Static_Full_Version Bootstrap模板

InspiniaAdmin 2.6.1 Rails_Full_Version

inspinia 2.7 Static_Full_Version

iar keygen for V5.30 5.40 full version

InspiniaAdmin 2.5 Angular_full_version

inspinia admin 2.5 Angular_Full_Version

Blitz3D Full Version 1.94 完全版 无功能限制 2

2.9 汉化HTML5_Full_Version

Static_Full_Version 2

inspinia admin - v2.5 Rails_Full_Version

Iocomp v4 VCL Edition Full version

inspinia admin - v2.5 Static_Full_Version

BurpLoaderKeygen.jar.zip

最新版ISO/IEC 27001:2022、ISO 27002:2022中英文合集

Goby红队版-win-x64-2.4.7版本

Chrome Header Editor 插件

ISO SAE 21434-2021 中文版.pdf

OpenVAS GVM 中文翻译补丁

2024 dy最新a-bogus

安全认证cisp教材全套

软件工程导论(第六版)课后习题答案1

最新资源

Blitz3D Full Version 1.94 完全版无功能限制 1

Blitz3D Full Version 1.94 完全版无功能限制 2