机器学习10大经典算法..pdf
版权申诉
12 浏览量
2022-07-03
12:49:33
上传
评论
收藏 1.32MB PDF 举报
1、C4.5
机器学习中，决策树是一个预测模型；他代表的是对象属性与对象值之间的一种映射关
系。树中每个节点表示某个对象，而每个分叉路径则代表的某个可能的属性值，而每个叶结
点则对应从根节点到该叶节点所经历的路径所表示的对象的值。决策树仅有单一输出，若欲
有复数输出，可以建立独立的决策树以处理不同输出。从数据产生决策树的机器学习技术叫
做决策树学习, 通俗说就是决策树。
决策树学习也是数据挖掘中一个普通的方法。在这里，每个决策树都表述了一种树型结
构，他由他的分支来对该类型的对象依靠属性进行分类。每个决策树可以依靠对源数据库的
分割进行数据测试。这个过程可以递归式的对树进行修剪。 当不能再进行分割或一个单独
的类可以被应用于某一分支时，递归过程就完成了。另外，随机森林分类器将许多决策树结
合起来以提升分类的正确率。决策树同时也可以依靠计算条件概率来构造。决策树如果依靠
数学的计算方法可以取得更加理想的效果。决策树一般都是自上而下的来生成的。
选择分割的方法有好几种，但是目的都是一致的：对目标类尝试进行最佳的分割。从根
到叶子节点都有一条路径，这条路径就是一条“规则”。决策树可以是二叉的，也可以是多
叉的。对每个节点的衡量：
1)通过该节点的记录数
2)如果是叶子节点的话，分类的路径
3)对叶子节点正确分类的比例。
有些规则的效果可以比其他的一些规则要好。由于 ID3 算法在实际应用中存在一些问
题，于是 Quilan 提出了 C4.5 算法，严格上说 C4.5 只能是 ID3 的一个改进算法。相信大家对
ID3 算法都很.熟悉了，这里就不做介绍。
C4.5 算法继承了 ID3 算法的优点，并在以下几方面对 ID3 算法进行了改进：
1) 用信息增益率来选择属性，克服了用信息增益选择属性时偏向选择取值多的属性的
不足；
2) 在树构造过程中进行剪枝；
3) 能够完成对连续属性的离散化处理；
4) 能够对不完整数据进行处理。
剩余22页未读，继续阅读
资源评论
