没有合适的资源?快使用搜索试试~ 我知道了~
决策树 full version1
需积分: 0 4 下载量 169 浏览量
2022-08-03
12:20:14
上传
评论
收藏 3.31MB PDF 举报
温馨提示
试读
32页
1. 导入需要的算法库和模块 2. 探索数据 3. 分训练集和测试集 4. 建立模型 5. 画出一棵树吧
资源详情
资源评论
资源推荐
菜菜的scikit-learn课堂第一期
sklearn入门 & 决策树在sklearn中的实现
小伙伴们大家好~o(
 ̄▽ ̄
)ブ
我是菜菜,这里是我的sklearn课堂,本章内容是sklearn入门 + 决策树在sklearn中的实现和调参~
我的开发环境是Jupyter lab,所用的库和版本大家参考:
Python 3.7.1(你的版本至少要3.4以上
Scikit-learn 0.20.0 (你的版本至少要0.19
Graphviz 0.8.4 (没有画不出决策树哦,安装代码conda install python-graphviz
Numpy 1.15.3, Pandas 0.23.4, Matplotlib 3.0.1, SciPy 1.1.0
请扫码进群领取课件和代码源文件,扫描二维码后回复”K"就可以进群哦~
Tsai Tsai
菜菜的sklearn课堂直播间: https://live.bilibili.com/12582510
sklearn专题第一期:决策树
菜菜的scikit-learn课堂第一期
sklearn入门 & 决策树在sklearn中的实现
sklearn入门
决策树
1 概述
1.1 决策树是如何工作的
1.2 sklearn中的决策树
2 DecisionTreeClassifier与红酒数据集
2.1 重要参数
2.1.1 criterion
2.1.2 random_state & splitter
2.1.3 剪枝参数
2.1.4 目标权重参数
2.2 重要属性和接口
3 DecisionTreeRegressor
3.1 重要参数,属性及接口
criterion
3.2 实例:一维回归的图像绘制
4 实例:泰坦尼克号幸存者的预测
5 决策树的优缺点
6 附录
6.1 分类树参数列表
6.2 分类树属性列表
6.3 分类树接口列表
Bonus Chapter I 实例:分类树在合成数集上的表现
Bonus Chapter II: 配置开发环境&安装sklearn
Tsai Tsai
菜菜的sklearn课堂直播间: https://live.bilibili.com/12582510
sklearn专题第一期:决策树
sklearn入门
scikit-learn,又写作sklearn,是一个开源的基于python语言的机器学习工具包。它通过NumPy, SciPy和
Matplotlib等python数值计算的库实现高效的算法应用,并且涵盖了几乎所有主流机器学习算法。
http://scikit-learn.org/stable/index.html
在工程应用中,用python手写代码来从头实现一个算法的可能性非常低,这样不仅耗时耗力,还不一定能够写出
构架清晰,稳定性强的模型。更多情况下,是分析采集到的数据,根据数据特征选择适合的算法,在工具包中调用
算法,调整算法的参数,获取需要的信息,从而实现算法效率和效果之间的平衡。而sklearn,正是这样一个可以
帮助我们高效实现算法应用的工具包。
sklearn有一个完整而丰富的官网,里面讲解了基于sklearn对所有算法的实现和简单应用。然而,这个官网是全英
文的,并且现在没有特别理想的中文接口,市面上也没有针对sklearn非常好的书。因此,这门课的目的就是由简
向繁地向大家解析sklearn的全面应用,帮助大家了解不同的机器学习算法有哪些可调参数,有哪些可用接口,这
些接口和参数对算法来说有什么含义,又会对算法的性能及准确性有什么影响。我们会讲解sklearn中对算法的说
明,调参,属性,接口,以及实例应用。注意,本门课程的讲解不会涉及详细的算法原理,只会专注于算法在
sklearn中的实现,如果希望详细了解算法的原理,建议阅读下面这本两本书:
Tsai Tsai
菜菜的sklearn课堂直播间: https://live.bilibili.com/12582510
sklearn专题第一期:决策树
决策树
1 概述
1.1 决策树是如何工作的
决策树(Decision Tree)是一种非参数的有监督学习方法,它能够从一系列有特征和标签的数据中总结出决策规
则,并用树状图的结构来呈现这些规则,以解决分类和回归问题。决策树算法容易理解,适用各种数据,在解决各
种问题时都有良好表现,尤其是以树模型为核心的各种集成算法,在各个行业和领域都有广泛的应用。
我们来简单了解一下决策树是如何工作的。决策树算法的本质是一种图结构,我们只需要问一系列问题就可以对数
据进行分类了。比如说,来看看下面这组数据集,这是一系列已知物种以及所属类别的数据:
我们现在的目标是,将动物们分为哺乳类和非哺乳类。那根据已经收集到的数据,决策树算法为我们算出了下面的
这棵决策树:
假如我们现在发现了一种新物种Python,它是冷血动物,体表带鳞片,并且不是胎生,我们就可以通过这棵决策
树来判断它的所属类别。
Tsai Tsai
菜菜的sklearn课堂直播间: https://live.bilibili.com/12582510
sklearn专题第一期:决策树
关键概念:节点
根节点:没有进边,有出边。包含最初的,针对特征的提问。
中间节点:既有进边也有出边,进边只有一条,出边可以有很多条。都是针对特征的提问。
叶子节点:有进边,没有出边,每个叶子节点都是一个类别标签。
*子节点和父节点:在两个相连的节点中,更接近根节点的是父节点,另一个是子节点。
tree.DecisionTreeClassifier 分类树
tree.DecisionTreeRegressor 回归树
tree.export_graphviz 将生成的决策树导出为DOT格式,画图专用
tree.ExtraTreeClassifier 高随机版本的分类树
tree.ExtraTreeRegressor 高随机版本的回归树
可以看出,在这个决策过程中,我们一直在对记录的特征进行提问。最初的问题所在的地方叫做根节点,在得到结
论前的每一个问题都是中间节点,而得到的每一个结论(动物的类别)都叫做叶子节点。
决策树算法的核心是要解决两个问题:
1)如何从数据表中找出最佳节点和最佳分枝?
2)如何让决策树停止生长,防止过拟合?
几乎所有决策树有关的模型调整方法,都围绕这两个问题展开。这两个问题背后的原理十分复杂,我们会在讲解模
型参数和属性的时候为大家简单解释涉及到的部分。在这门课中,我会尽量避免让大家太过深入到决策树复杂的原
理和数学公式中(尽管决策树的原理相比其他高级的算法来说是非常简单了),这门课会专注于实践和应用。如果
大家希望理解更深入的细节,建议大家在听这门课之前还是先去阅读和学习一下决策树的原理。
1.2 sklearn中的决策树
模块sklearn.tree
sklearn中决策树的类都在”tree“这个模块之下。这个模块总共包含五个类:
我们会主要讲解分类树和回归树,并用图像呈现给大家。
sklearn的基本建模流程
在那之前,我们先来了解一下sklearn建模的基本流程。
Tsai Tsai
菜菜的sklearn课堂直播间: https://live.bilibili.com/12582510
sklearn专题第一期:决策树
剩余31页未读,继续阅读
光与火花
- 粉丝: 26
- 资源: 335
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功
评论0