决策树3种算法，以及原理

决策树

前言：

决策树是机器学习里面最早的一种分类算法,

主要算法包括

ID4 算法：1986 年

C4.5 算法：1993 年

CART 算法： 主要用于预测

传统的经典理论发展比较缓慢，但是影响确实是几个世纪。像目前应用最广

算法路径：

目录

一 基本流程....................................................................................................5

1.1 详细说明............................................................................................. 9

二 划分选择..................................................................................................12

2.1 信息增益： ID3 算法...........................................................................12

............................................................................................................... 13

2.2 增益率 C4.5 算法.................................................................................16

2.3 基尼系数 CART(1984):节点方差...........................................................22

............................................................................................................... 22

如下一个历史数据，最后一列代表实际结果，前面是样本特征

如表格 age: 1 代表年轻 2 中年， 3 老年

Incode: 1 低收入 2： 高收入

Studet 1:是学生 2 不是学生

Credit: 1 信誉好 2 信誉不好， 3 信誉一般

Type: 1 买， 2 不买