1
人工智能和机器学习之分类算法：决策树：决策树剪枝技
术
1 决策树基础
决策树是一种监督学习算法，用于分类和回归任务。它通过树状结构来表
示决策规则，其中每个内部节点表示一个特征上的测试，每个分支代表一个测
试结果，每个叶节点代表一个类别（分类任务）或一个值（回归任务）。
1.1 决策树的构建过程
决策树的构建过程主要包括两个步骤：树的生成和树的剪枝。
1.1.1 树的生成
树的生成是通过递归地选择最优特征进行分裂，直到满足停止条件。停止
条件可以是树达到最大深度、节点中的样本数小于某个阈值、节点的纯度达到
某个标准等。
1.1.2 特征选择
特征选择是决策树构建的关键步骤，它决定了树的结构和预测能力。常用
的特征选择方法有信息增益、信息增益比、基尼指数等。
1.1.2.1 信息增益
信息增益是基于熵的概念，熵是衡量数据集纯度的指标。信息增益表示在
特征选择后，数据集纯度的提升程度。
1.1.2.2 信息增益比
信息增益比是信息增益与特征熵的比值，用于解决信息增益偏向于选择具
有多个值的特征的问题。
1.1.2.3 基尼指数
基尼指数是衡量数据集不纯度的另一种方法，它定义为 1 减去数据集中所
有类别概率的平方和。
1.1.3 分裂准则
分裂准则是决定如何根据特征值将数据集分为子集的规则。对于分类任务，
通常使用信息增益、信息增益比或基尼指数作为分裂准则；对于回归任务，通
剩余19页未读，继续阅读
资源评论
