机器学习实验二实验报告（Python）

根据提供的文件信息，本次实验的主要任务是通过编程实现基于信息熵进行划分选择的决策树算法，并为特定数据生成一棵决策树。以下是对相关信息点的详细解释： ### 1. 决策树算法基础 决策树是一种监督学习方法，用于分类和回归任务。它通过递归地将数据集分割成子集，从而构建一个树结构。每个内部节点表示一个属性上的测试，每个分支代表一个测试结果，而每个叶节点则表示一种类别或输出结果。 ### 2. 信息熵与信息增益 #### 2.1 信息熵 信息熵是衡量数据集不确定性的度量标准，通常用来量化数据集的混乱程度。在决策树中，信息熵用来评估数据集中的样本分布情况。计算公式为： \[ H(X) = -\sum_{i=1}^{n} P(x_i) \log_2(P(x_i)) \] 其中 \( P(x_i) \) 表示类别 \( x_i \) 出现的概率。 #### 2.2 信息增益 信息增益是决策树算法中选择最优划分属性的重要依据之一。它是衡量特征对数据集划分效果好坏的一个度量。具体来说，信息增益定义为数据集的信息熵与该数据集按某个特征划分后的条件熵之差。计算公式为： \[ Gain(A) = H(D) - H(D|A) \] 其中 \( H(D) \) 是原始数据集的信息熵，\( H(D|A) \) 是根据特征 A 划分后的数据集的条件熵。 ### 3. 数据预处理 #### 3.1 编码处理 在提供的代码片段中，可以看到对非数值型特征进行了编码处理，即将文本特征转换为数字形式。例如，对于特征列表 `features` 中的每一项特征，如果其属于非数值型，则根据 `featureDic` 字典将其替换为相应的数字。 ```python newData = [] for i in range(len(dataVec) - 3): # 非数值特征 for j in range(numList[i]): if dataVec[i] == featureDic[features[i]][j]: newData.append(j + 1) ``` 这段代码首先遍历每条记录中的非数值特征，然后查找该特征在 `featureDic` 中对应的索引，并将其转换为数字形式。 #### 3.2 信息熵计算 接下来，提供了 `calEntropy` 函数用于计算信息熵。该函数接收两个参数，分别是数据集 `dataArr` 和类别标签 `classArr`。信息熵计算公式如下： ```python def calEntropy(dataArr, classArr): n = dataArr.size p0 = data0.size / float(n) p1 = data1.size / float(n) if p0 == 0: ent = -(p1 * np.log(p1)) elif p1 == 0: ent = -(p0 * np.log(p0)) else: ent = -(p0 * np.log2(p0) + p1 * np.log2(p1)) return ent ``` #### 3.3 数据集划分 在决策树构建过程中，需要根据特定属性将数据集划分为不同的子集。这里提供了 `splitDataSet` 函数用于实现这一过程。函数接收四个参数：数据集 `dataSet`、属性下标 `ax`、属性值 `value`。根据属性类型的不同，返回的数据集也有所不同。 ### 4. 信息增益计算 提供了 `calInfoGain` 函数用于计算信息增益。该函数接收四个参数：数据集 `dataSet`、属性列表 `labelList`、属性下标 `ax` 以及用于划分的属性值 `value`（默认为 -1）。通过计算数据集的信息熵和条件熵来得出信息增益的值。 以上是基于信息熵进行划分选择的决策树算法的实现步骤及关键知识点。通过这些步骤，可以有效地为给定数据集构建出一棵决策树。