没有合适的资源?快使用搜索试试~ 我知道了~
59. ID3、C4.5、CART三种决策树的区别 - 哆啦咪~fo - CSDN博客1
需积分: 0 4 下载量 49 浏览量
2022-08-03
22:37:03
上传
评论
收藏 137KB PDF 举报
温馨提示
试读
3页
59. ID3、C4.5、CART三种决策树的区别 - 哆啦咪~fo - CSDN博客1
资源详情
资源评论
资源推荐
很早就想写写决策树,说起决策树做过数据挖掘的就不会感觉陌生,但是可能对
ID3决策树算法、C4.5决策树算法以及CART决策树之间的区别不太了解,下面就
这三个比较著名的决策树算法分别写写
决策树是如何工作的
一棵决策树包含一个根结点、若干个内部结点和若干个叶结点;叶结点对应于决
策结果,其他每个结点则对应一个属性测试;每个结点包含的样本结合根据属性
测试的结果被划分到子结点中;根结点包含样本全集,从根结点到每个叶结点的
每个叶结点的路径对应一个判定测试序列。决策树学习的目的是为了产生一棵泛
化能力强,也就是能够处理未见实例的决策树。
ID3
决
策
树
信息熵是度量样本集合纯度最常用的一种指标。假设样本集合D中第k类样本所占
的比重为pk,那么信息熵的计算则为下面的计算方式
当这个Ent(D)的值越小,说明样本集合D的纯度就越高
有了信息熵,当我选择用样本的某一个属性a来划分样本集合D时,就可以得出用
属性a对样本D进行划分所带来的“信息增益”
一般来讲,信息增益越大,说明如果用属性a来划分样本集合D,那么纯度会提
升,因为我们分别对样本的所有属性计算增益情况,选择最大的来作为决策树的
一个结点,或者可以说那些信息增益大的属性往往离根结点越近,因为我们会优
先用能区分度大的也就是信息增益大的属性来进行划分。当一个属性已经作为划
分的依据,在下面就不在参与竞选了,我们刚才说过根结点代表全部样本,而经
shkpwbdkak
- 粉丝: 30
- 资源: 300
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功
评论0