17.6.1（决策树，学习新语言的五点）1
需积分: 0 178 浏览量
2022-08-04
17:07:39
上传
评论
收藏 105KB PDF 举报
17.6.1（决策树，学习新语言的五点）
学习一门新的编程语言一般要掌握的五项:
1. 定义类,属性,函数的方法,实例化类创建对象,调用对象中函数的方法.
2. 控制结构,for循环,while循环,if--else--判断等.
3. 集合的使用,list列表,set集合,map
4. 形参和实参的使用(值传递,引用传递)
5. 多线程的使用
注:形参和实参的结合是在调用函数时.
决策树（decision tree）
决策树是类似于流程图的一个结构，每一个内部节点都是一个属性的测试（按照分类依据进行分类）。最顶点就是根节
点。
我们要搞清楚一件事情需要很多的信息，针对这个信息量的度量，1948年，香农提出了‘“信息熵（entropy）”的概
念，变量的不确定性越大，熵就越大。
公式就是所有情况发生概率乘以log（所有情况发生概率）之和。
决策树归纳算法（ID3）1970-1980
ID3算法就是用来求每一个节点的分类依据，用来判断节点的方法是比较各个分类依据的信息获取量（information
gain）：
公示的意思就是：不用A分类的信息熵减去用A分类的信息熵，得到的就是A的信息获取量。求出来每个分类依据的信息
获取量，最大的那个就作为根节点。根据这个分类依据分成两类，然后每一类继续重复以上方法求得二层的节点，以此
类推。直到：给定的节点下都属于同一类；没有剩余的属性（分类依据）用来进行下一步，这时候，使用多数表决。
其他决策树算法：
评论0