第五章 决策树
5.4 ID3 决策树
5.4.2 Python 实现 ID3 决策树
1. 加载数据集与计算信息熵
代码如下：
import numpy as np
import pandas as pd
#定义加载数据集的综合函数
def loadDataSet():
#函数功能：读取存放样本数据的 csv 文件，返回样本数据集和划分属性集
#对数据进行处理
dataSet = pd.read_csv('/Users/yanhe/Desktop/loan.csv', delimiter=',')
dataSet = dataSet.replace('yes', 1).replace('no', 0)
labelSet = list(dataSet.columns)[:-1] #得到划分属性集
dataSet = dataSet.values #得到样本数据集
return dataSet, labelSet
#下面定义计算给定样本数据集 dataSet 的信息熵的函数 calcShannonEnt(dataSet)。
def calcShannonEnt(dataSet):
#dataSet 的每个元素是一个存放样本的属性值的列表
numEntries = len(dataSet) #获取样本集的行数，
labelCounts = {} #保存每个类别出现次数的字典
for featVec in dataSet: #对每个样本进行统计
currentLabel = featVec[-1] #取得最后一列数据，即类别信息
# 如果当前类别没有放入统计次数的字典，添加进去
if currentLabel not in labelCounts.keys():
labelCounts[currentLabel] = 0 #添加字典元素，键的值为 0
labelCounts[currentLabel] += 1 #类别数计数
shannonEnt = 0.0 #计算信息熵
for key in labelCounts.keys():
#keys()以列表返回一个字典所有的键
prob = float(labelCounts[key]) / numEntries #计算一个类别的概率
shannonEnt -= prob*np.log2(prob)
return shannonEnt
#main 函数
if __name__=='__main__':
dataSet, labelSet = loadDataSet()
print(dataSet)
print('数据集的信息熵:',calcShannonEnt(dataSet))
输出结果如下：
