中科院数据挖掘刘莹数据挖掘第二次作业

数据挖掘是信息技术领域的一个关键分支，它涉及到从大型数据集中提取有用信息的过程。在这个作业中，我们关注的是信息增益、决策树构建、多层前馈神经网络的设计以及反向传播算法的应用。 信息增益是数据挖掘中用于特征选择的重要度量，特别是在决策树算法中。它衡量了一个特征对于分类目标的预测能力。在问题1a中，计算了三个特征（性别、汽车类型和衬衫尺寸）的信息增益。熵是衡量数据纯度的指标，计算公式为各类别出现概率的负对数。信息增益则是整体熵与基于特定特征划分后的熵之差。例如，计算出“性别”的信息增益为0.029，“汽车类型”的信息增益为0.6203，这是三者中最大的，因此在构建决策树时首选“汽车类型”作为划分依据。 接着，在问题1b中，根据信息增益，构建了一个决策树。首先选择了“汽车类型”进行第一次划分，然后根据剩余的子集分别计算“性别”和“衬衫尺寸”的信息增益，最终选择了“衬衫尺寸”作为进一步划分的依据。由此形成的决策树可以有效地指导分类过程。 在问题1c中，设计了一个多层前馈神经网络，它包含一个隐藏层。输入层有8个节点，分别代表“性别”、“汽车类型”和“衬衫尺寸”的不同状态。隐藏层有3个节点，而输出层只有一个节点，对应于二分类问题的结果。这种网络结构允许数据通过多层非线性转换，从而可能更好地捕捉复杂的模式。 在问题1d中，利用反向传播算法更新网络权重。给定训练实例"(M, Family, Small)"，其对应的类标号是"C0"。初始权重和偏置值被设定，然后通过反向传播计算出每个节点的误差，并据此更新权重。这个过程会迭代多次，直到权重达到收敛或者满足预设的停止条件。 总结来说，这个作业涵盖了数据挖掘的关键概念，包括信息增益用于决策树构建，以及神经网络的设计和训练，特别是反向传播算法在权重调整中的应用。这些技能是数据科学家在处理复杂数据集和构建预测模型时的必备工具。