Python机器学习 实验- 决策树1

一、实验目的 1.理解决策树的模型原理； 2.掌握如何实现决策树算法，并用其完成预测。 二、实验原理 决策树，信息熵，信息增益。 决策树(Decision Tree）是在已知各种情况发生概率的基础上，通过构成决策树来求取净现值的期望值大于等于零的概率，评价项目风险，判断其可行性的决策分析方法，是直观运用概率分析的一种图解法。由于这种决策分支画成图形很像一棵树的枝干，故称决策树。在机器学习中，决策树是一个预测模型，他代表的是对象属性与对象值之间的一种映射关系。Entropy =系统的凌乱程度，使用算法ID3, C4.5和C5.0生成树算法使用熵。这一度量是基于信息学理论中熵的概念。 1、决策树的算法原理 （1）找到划分数据的特征，作为决策点 （2）利用找到的特征对数据进行划分成n个数据子集。 （3）如果同一个子集中的数据属于同一类型就不再划分，如果不属于同一类型，继续利用特征进行划分。 （4）指导每一个子集的数据属于同一类型停止划分。 本次实验任务我们使用贷款申请样本数据表，该数据表中每列数据分别代表ID、年龄、高薪、有房、信贷情况、类别，我们根据如下数据使用代码来生成决策树