机器学习决策树与分类方法课程报告
需积分: 5 8 浏览量
2023-01-03
10:53:33
上传
评论 1
收藏 89KB DOCX 举报
实验项目 1：基于 CART 分类方法的决策树（Decision Tree）
实验内容：
1、熟知决策树的概念和基本算法思想。
2、理解信息增益的计算方法，比较 ID3、ID4.5 和 CART 分类方法。、
3、掌握分类效果评价的方法；
4、利用 CART 分类方法，基于 Python 实现并画出决策树。
实验过程：
1、算法思想：
分类是机器学习中的一类重要问
题。分类算法是利用训练样本集
获得分类函数及分类函数（分类
模型），从而实现将数据集中的样
本划分到各个类中。
2、算法原理：
决策树通过把样本分配到某个叶
子节点来确定数据集中样本所属
的分类。决策树由决策节点，分
支，和叶子节点组成。决策节点
表示在样本的一个属性上进行的
划分。分支表示对于决策节点进
行划分的输出。叶节点表示经过
分支到达的类。从决策树根节点
出发自定向下移动，在每个决策
节点都会进行一次划分，通过划
分的结果将样本进行分类，导致
不同的分支，最后到达一个叶子
节点。
3、算法分析：
1、迭代计算每个特征的每个二分
切点 gini 系数。
2、选取 gini 最小的特征及对应切
分点为最佳分类点。
3、进行一次样本划分。
4、对划分后的两部分样本重复上
源程序代码：
# encoding=utf-8
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score
from sklearn.tree import DecisionTreeClassifier
from sklearn.datasets import load_iris
#
准备数据集
iris = load_iris()
#
获取特征集和分类标识
features = iris.data
labels = iris.target
#
随机抽取
33%
的数据作为测试集，其余为训练集
train_features, test_features, train_labels,
test_labels = train_test_split(features, labels,
test_size=0.33,
random_state=0)
#
创建
CART
分类树
clf = DecisionTreeClassifier(criterion='gini')
#
拟合构造
CART
分类树
clf = clf.fit(train_features, train_labels)
#
用
CART
分类树做预测
test_predict = clf.predict(test_features)
#
预测结果与测试集结果作比对
score = accuracy_score(test_labels, test_predict)
print("CART 分类树准确率 %.4lf" % score)
import numpy as np
import random
from sklearn import tree
from graphviz import Source
np.random.seed(42)
X=np.random.randint(10, size=(100, 4))
Y=np.random.randint(2, size=100)
a=np.column_stack((Y,X))
剩余11页未读，继续阅读
资源评论
