决策树_ID3算法.docx
需积分: 3 142 浏览量
2021-03-03
18:35:55
上传
评论
收藏 165KB DOCX 举报
决策树：
主要有两种算法：ID3 算法和 C4.5 算法。C4.5 算法是对 ID3 算法的改进。
今天主要先讲 ID3 算法，之后会讲 C4.5 算法和随机森林等。
Contents
1. 决策树的基本认识
2. ID3 算法介绍
3. 信息熵与信息增益
4. ID3 算法的 C++实现
1. 决策树的基本认识
决策树是一种依托决策而建立起来的一种树。在机器学习中，决策树是一
种预测模型，代表的是一种对象属性与对象值之间的一种映射关系，每一个节
点代表某个对象，树中的每一个分叉路径代表某个可能的属性值，而每一个叶
子节点则对应从根节点到该叶子节点所经历的路径所表示的对象的值。决策树
仅有单一输出，如果有多个输出，可以分别建立独立的决策树以处理不同的输
出。接下来讲解 ID3 算法。
2. ID3 算法介绍
ID3 算法是决策树的一种，它是基于奥卡姆剃刀原理的，即用尽量较少的
东西做更多的事。ID3 算法，即 Iterative Dichotomiser 3，迭代二叉树
3 代，（Dichotomiser [daɪ'kɒtəmaɪzə] ）是 Ross Quinlan 发明的一种
剩余12页未读，继续阅读
评论0