决策树启发式和修剪：构建和训练决策树。 修剪正则化

决策树启发式和修剪 我们可以将决策树定义为计算树，其中每个节点都包含一个关于属性的问题，节点的每个分支都包含对该问题的答案。 哪个问题/属性应该放在每个节点中，由决策树学习算法确定。 如Mitchel中所述，为学习决策树而开发的大多数算法都是核心算法的变体，该核心算法在可能的决策树的空间中采用了自上而下的贪婪搜索。 决策树什么时候合适？ 对于监督学习：该算法需要标记数据可用 分类：目标具有离散值 当我们有嘈杂的数据时：训练数据可能包含错误 算法： ID3 (Examples, Target_Attribute, Attributes) Create a root node for the tree If all examples are positive, Return the single-node tree Root, with label = +. If