没有合适的资源？快使用搜索试试~ 我知道了~

文库首页大数据算法与数据结构随机森林算法最详细的笔记.docx

随机森林算法最详细的笔记.docx

随机森林

需积分: 5 2 下载量 147 浏览量 2021-09-28 15:10:02 上传评论收藏 239KB DOCX 举报

温馨提示

试读

38页

随机森林算法最详细的笔记

资源推荐

资源详情

资源评论

随机森林算法最详细的笔记

随机森林算法的理论知识

随机森林是一种有监督学习算法，是以决策树为基学习器的集成学习算法。随

机森林非常简单，易于实现，计算开销也很小，但是它在分类和回归上表现出

非常惊人的性能，因此，随机森林被誉为“代表集成学习技术水平的方法”。

一，随机森林的随机性体现在哪几个方面？ ，数据集的随机选取

从原始的数据集中采取有放回的抽样（），构造子数据集，子数据集的

数据量是和原始数据集相同的。不同子数据集的元素可以重复，同一个子数据

集中的元素也可以重复。

，待选特征的随机选取

与数据集的随机选取类似，随机森林中的子树的每一个分裂过程并未用到所有

的待选特征，而是从所有的待选特征中随机选取一定的特征，之后再在随机选

取的特征中选取最优的特征

二，为什么使用随机森林？

，随机森林既可以用于分类问题，也可以用于回归问题

，过拟合是个关键的问题，可能会让模型的结果变得糟糕，但是对于随机森林

来说，如果随机森林的树足够多，那么分类器就不会过拟合模型

，随机森林分类器可以处理缺失值

，随机森林分类器可以用分类值建模

三，随机森林的构建过程

，从原始训练集中使用  方法随机有放回采样取出  个样本，共

进行  次采样。生成  个训练集

，对  个训练集，我们分别训练  个决策树模型

，对于单个决策树模型，假设训练样本特征的个数为 ，那么每次分裂时根据

信息增益信息增益比基尼指数选择最好的特征进行分裂

，每棵树都已知这样分裂下去，知道该节点的所有训练样例都属于同一类。在

决策树的分裂过程中不需要剪枝

，将生成的多颗决策树组成随机森林。对于分类问题，按照多棵树分类器投票

决定最终分类结果；对于回归问题，由多颗树预测值的均值决定最终预测结果

注意：（）：每棵决策树的生成都需要自助采样，这时就有

 的数据未被选中，这部分数据就称为袋外数据。

四，随机森林优缺点总结优点

 由于采用了集成算法，本身精度比大多数单个算法要好，所以准确性高

 在测试集上表现良好，由于两个随机性的引入，使得随机森林不容易陷入过拟

合（样本随机，特征随机）

 在工业上，由于两个随机性的引入，使得随机森林具有一定的抗噪声能力，对

比其他算法具有一定优势

 由于树的组合，使得随机森林可以处理非线性数据，本身属于非线性分类（拟

合）模型

 它能够处理很高维度（ 很多）的数据，并且不用做特征选择，对数据集

的适应能力强：既能处理离散型数据，也能处理连续型数据，数据集无需规范

化

 训练速度快，可以运用在大规模数据集上

 可以处理缺省值（单独作为一类），不用额外处理

 由于有袋外数据（），可以在模型生成过程中取得真实误差的无偏估计，

且不损失训练数据量

 在训练过程中，能够检测到  间的互相影响，且可以得出  的重要

性，具有一定参考意义

 由于每棵树可以独立、同时生成，容易做成并行化方法

 由于实现简单、精度高、抗过拟合能力强，当面对非线性数据时，适于作为基

准模型

缺点

 当随机森林中的决策树个数很多时，训练时需要的空间和时间会比较大

 随机森林中还有许多不好解释的地方，有点算是黑盒模型

 在某些噪音比较大的样本集上， 的模型容易陷入过拟合

五，特征重要性评估

现实情况下，一个数据集中往往有成百上千个特征，如何在其中选择比结果影

响最大的那几个特征，以此来缩减建立模型时特征数是我们比较关心的问题。

这样的方法其实很多，比如主成分分析， 等等。不过这里我们学习的是用

随机森林来进行特征筛选。

用随机森林进行特征重要性评估的思想就是看每个特征在随机森林中的每棵树

上做了多大的贡献，然后取个平均值，最后比一比特征之间的贡献大小。

贡献大小通常使用基尼指数（）或者袋外数据（）错误率作为

评估指标来衡量。这里我们再学习一下基尼指数来评价的方法。

我们将变量重要性评分（ !）用 "#$ 来表示，将

 指数用 # 来表示，假设  个特征 %，%，%，&&&&&&%!，现在要计算出每

个特征 %' 的  指数评分 "#$'（） (亦即第 ' 个特征在  所有决策树中

节点分裂不纯度的平均改变量。

 指数的计算公式为：

其中，) 表示有 ) 个类别。*+ 表示节点  中类列 + 所占的比例。

直观的说，就是随便从节点  中随机抽取两个样本，其类别标记不一致的概率。

特征 %' 在节点  的重要性，即节点  分支前后的  指数变化量为：

其中，#和 #分别表示分枝后两个新节点的  指数。

剩余37页未读，继续阅读

评论收藏

内容反馈

资源评论

资源反馈

评论星级较低，若资源使用遇到问题可联系上传者，3个工作日内问题未解决可申请退款~

dinjun268

粉丝: 0
资源: 13

上传资源快速赚钱

我的内容管理展开

我的资源快来上传第一个资源

我的收益

登录查看自己的收益

我的积分登录查看自己的积分

我的C币登录后查看C币余额

我的收藏

我的下载

下载帮助

前往需求广场，查看用户热搜

随机森林算法最详细的笔记.docx

随机森林算法.docx

随机森林算法

随机森林算法，随机森林算法

随机森林算法-中文

数据挖掘之随机森林算法实验报告 (2).docx

机器视觉算法与应用笔记.docx

Apriori算法实现实验报告.docx

大数据挖掘可视化编程软件的随机森林算法介绍和实现.docx

RandomForest随机森林算法

RFclass.m（随机森林算法）

随机森林算法opencv

随机森林,随机森林算法,matlab

数据挖掘之随机森林算法实验报告.docx

(完整版)MATLAB典型去雾算法代码...docx

Python最优化算法实战学习笔记.docx

武汉理工大学数据结构及算法综合实验连连看.docx

2011年软考信息系统项目管理师学习笔记.docx

随机森林,随机森林算法,Python

随机森林 【Bagging算法】

《信息系统项目管理师考试全程指导》笔记.docx

关于文字识别中两种倾斜校正算法的比较研究.docx

21装配生产线任务平衡问题的遗传算法MATLAB源代码.docx

基于随机森林的特征选择算法.docx

VB.NET个人做的笔记（.docx）

最新资源

随机森林【Bagging算法】