机器学习之决策树与随机森林模型
81 浏览量
2021-01-27
16:00:55
上传
评论 1
收藏 236KB PDF 举报
机器学习之决策树与随机森林模型机器学习之决策树与随机森林模型
决策树
引言
决策树，是机器学习中一种非常常见的分类方法，也可以说是所有算法中最直观也最好理解的算法。先举个最简单的例子：
A：你去不去吃饭？
B：你去我就去。
“你去我就去”，这是典型的决策树思想。
再举个例子：
有人找我借钱（当然不太可能。。。），借还是不借？我会结合根据我自己有没有钱、我自己用不用钱、对方信用好不好这三
个特征来决定我的答案。
我们把转到更普遍一点的视角，对于一些有特征的数据，如果我们能够有这么一颗决策树，我们也就能非常容易地预测样本的
结论。所以问题就转换成怎么求一颗合适的决策树，也就是怎么对这些特征进行排序。
在对特征排序前先设想一下，对某一个特征进行决策时，我们肯定希望分类后样本的纯度越高越好，也就是说分支结点的样本
尽可能属于同一类别。
所以在选择根节点的时候，我们应该选择能够使得“分支结点纯度最高”的那个特征。在处理完根节点后，对于其分支节点，继
续套用根节点的思想不断递归，这样就能形成一颗树。这其实也是贪心算法的基本思想。那怎么量化“纯度最高”呢？熵就当仁
不让了，它是我们最常用的度量纯度的指标。其数学表达式如下：
其中N表示结论有多少种可能取值，p表示在取第k个值的时候发生的概率，对于样本而言就是发生的频率/总个数。
熵越小，说明样本越纯。
以一个两点分布样本X（x=0或1）的熵的函数图像来说明吧，横坐标表示样本值为1的概率，纵坐标表示熵。
资源评论
