决策树算法基础（1）

决策树 算法评价 准确性，速度，强壮行，规模性，可解释性 什么是决策树（Decision tree）？ 类似于流程图的树结构：其中，每个内部节点表示在一个属性上的测试，每个分支代表一个属性输出，而每个树叶节点代表类或类分布，树的最顶层是根节点。 熵（Entropy) 信息度量==不确定性的多少 H（x)=-∑P(x)*log2P(x) 决策树归纳算法（ID3） 信息获取量：Gain(A)=Info(D)-Info_A(D); 建造过程： 1.树以训练样本的单个节点开始 2.如果样本都在同一类，则该节点成为树叶 3.根据信息获取度来划分能最好将样本分类的属性 4.连续属性离散化 5.递归划分 6