没有合适的资源?快使用搜索试试~ 我知道了~
R语言与机器学习(2)决策树算法.pdf
1.该资源内容由用户上传,如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
版权申诉
0 下载量 103 浏览量
2022-06-18
02:49:28
上传
评论
收藏 925KB PDF 举报
温馨提示
试读
19页
。。。
资源推荐
资源详情
资源评论
算法二:决策树算法
决策树定义
首先,我们来谈谈什么是决策树。我们还是以鸢尾花为例子来说明这个问题。
观察上图,我们判决鸢尾花的思考过程可以这么来描述:花瓣的长度小于2.4cm
的是 setosa(图中绿色的分类),长度大于 1cm 的呢?我们通过宽度来判别,宽度
小于 1.8cm 的是 versicolor(图中红色的分类),其余的就是 virginica(图中黑
色的分类)
我们用图形来形象的展示我们的思考过程便得到了这么一棵决策树:
这种从数据产生决策树的机器学习技术叫做决策树学习, 通俗点说就是决策树,
说白了,这是一种依托于分类、训练上的预测树,根据已知预测、归类未来。
前面我们介绍的 k-近邻算法也可以完成很多分类任务,但是他的缺点就是含义
不清,说不清数据的内在逻辑,而决策树则很好地解决了这个问题,他十分好理
解。从存储的角度来说,决策树解放了存储训练集的空间,毕竟与一棵树的存储
空间相比,训练集的存储需求空间太大了。
决策树的构建
一、KD3 的想法与实现
下面我们就要来解决一个很重要的问题:如何构造一棵决策树?这涉及十分有趣
的细节。
先说说构造的基本步骤,一般来说,决策树的构造主要由两个阶段组成:第一阶
段,生成树阶段。选取部分受训数据建立决策树,决策树是按广度优先建立直到
每个叶节点包括相同的类标记为止。第二阶段,决策树修剪阶段。用剩余数据检
验决策树,如果所建立的决策树不能正确回答所研究的问题,我们要对决策树进
行修剪直到建立一棵正确的决策树。这样在决策树每个内部节点处进行属性值的
比较,在叶节点得到结论。从根节点到叶节点的一条路径就对应着一条规则,整
棵决策树就对应着一组表达式规则。
问题:我们如何确定起决定作用的划分变量。
我还是用鸢尾花的例子来说这个问题思考的必要性。使用不同的思考方式,我们
不难发现下面的决策树也是可以把鸢尾花分成 3 类的。
为了找到决定性特征,划分出最佳结果,我们必须认真评估每个特征。通常划分
的办法为信息增益和基尼不纯指数,对应的算法为 C4.5 和 CART。
关于信息增益和熵的定义烦请参阅百度百科,这里不再赘述。
直接给出计算熵与信息增益的 R 代码:
1、 计算给定数据集的熵
calcent<-function(data){
nument<-length(data[,1])
key<-rep("a",nument)
for(i in 1:nument)
key[i]<-data[i,length(data)]
ent<-0
prob<-table(key)/nument
for(i in 1:length(prob))
ent=ent-prob[i]*log(prob[i],2)
return(ent)
}
我们这里把最后一列作为衡量熵的指标,例如数据集 mudat(自己定义的)
> mudat
x y z
1 1 1 y
2 1 1 y
3 1 0 n
4 0 1 n
5 0 1 n
计算熵
> calcent(mudat)
1
0.9709506
熵越高,混合的数据也越多。得到熵之后,我们就可以按照获取最大信息增益的
方法划分数据集
剩余18页未读,继续阅读
资源评论
苦茶子12138
- 粉丝: 1w+
- 资源: 6万+
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功