1
人工智能和机器学习之回归算法：决策树回归：决策树构
建原理
1 决策树回归简介
1.1 决策树回归的基本概念
决策树回归是一种监督学习算法，用于解决回归问题。它通过构建一棵树
形结构，其中每个内部节点表示一个特征上的测试，每个分支代表一个测试结
果，而每个叶节点则代表一个输出值。决策树回归算法的目标是创建一个模型，
该模型能够对连续值的输出进行预测。
1.1.1 如何构建决策树回归模型
决策树回归模型的构建过程与决策树分类模型类似，但使用不同的指标来
选择最佳的特征和分裂点。在分类问题中，我们通常使用信息增益或基尼不纯
度作为分裂标准；而在回归问题中，我们使用的是均方误差（MSE）或平均绝
对误差（MAE）等指标。
1.1.2 决策树回归的预测过程
预测过程从树的根节点开始，沿着满足特征测试的路径向下移动，直到达
到叶节点。叶节点的值即为预测值，通常为该节点下所有训练样本目标值的平
均值。
1.2 决策树与分类树的区别
决策树可以分为两类：分类树和回归树。分类树用于处理分类问题，而回
归树用于处理回归问题。两者的主要区别在于叶节点的输出和分裂标准的选择。
1.2.1 叶节点的输出
� 分类树：叶节点的输出是一个类别，通常是该节点下训练样本中
出现频率最高的类别。
� 回归树：叶节点的输出是一个连续值，通常是该节点下训练样本
目标值的平均值。
1.2.2 分裂标准的选择
� 分类树：使用信息增益、基尼不纯度等指标来评估分裂的质量。
� 回归树：使用均方误差（MSE）、平均绝对误差（MAE）等指标来
评估分裂的质量。
剩余16页未读，继续阅读
资源评论
