建立决策树模型，进行数据处理.zip资源-CSDN文库

共5个文件

py：3个

pyc：2个

需积分: 5 91 浏览量 2024-04-25 19:03:48 上传评论收藏 5KB ZIP 举报

决策树是一种常用的数据挖掘技术，常用于分类和回归任务，尤其在预测性建模中扮演着重要角色。在这个“建立决策树模型，进行数据处理”的主题中，我们将深入探讨决策树的基本原理、构建过程以及数据预处理的重要环节。决策树算法基于树状结构来做出决定，其中每个内部节点代表一个特征或属性测试，每个分支代表一个测试输出，而每个叶节点则代表一个决定或类别。主要的决策树算法包括ID3、C4.5、CART（分类与回归树）以及随机森林等。 1. 数据预处理：在构建决策树模型之前，数据预处理是至关重要的步骤。这包括： - 数据清洗：去除缺失值、异常值和重复值。 - 数据转换：将非数值特征（如类别变量）转换为数值形式，例如独热编码。 - 数据规范化：对数值特征进行缩放，确保所有特征在同一尺度上，有助于避免某些特征因数值范围过大而占据主导地位。 - 特征选择：通过相关性分析、主成分分析等方法，选择对模型影响最大的特征。 2. 决策树构建： - 划分标准：决策树的构建通常基于信息增益、信息增益比、基尼不纯度等标准。这些标准衡量了特征划分数据集后纯度的提升程度。 - 停止条件：为了防止过拟合，设置停止条件至关重要，如最小样本数、最大树深度、最小信息增益等。 - 防止过拟合：剪枝策略（预剪枝和后剪枝）可以帮助我们得到更泛化的决策树。 3. ID3、C4.5和CART的区别： - ID3：基于信息熵，仅适用于离散特征，容易受到连续特征和类别不平衡的影响。 - C4.5：是ID3的改进版，处理连续特征时采用二元分割，同时考虑了类别不平衡问题。 - CART：适用于分类和回归任务，可以处理连续和离散特征，采用基尼不纯度作为分裂标准。 4. 随机森林： - 随机森林是多个决策树的集成学习，通过引入随机性（如随机特征选择、随机样本子集）来提高模型的稳定性和准确性。 - 每棵树独立训练，最终结果通过多数投票（分类）或平均（回归）得出。 5. 模型评估： - 使用交叉验证来评估模型的性能，如准确率、精确率、召回率、F1分数、AUC-ROC曲线等。 - 错误分析可以帮助我们理解模型的不足之处，进一步优化模型。 6. 应用场景： - 决策树广泛应用于各种领域，如医疗诊断、信用评估、市场分割、推荐系统等。 - 由于其可解释性强，对于非技术人员来说，决策树更容易理解和接受。建立决策树模型涉及到数据预处理、模型构建、算法选择以及模型评估等多个环节。每个步骤都需要细心处理，以确保模型的准确性和实用性。在实际应用中，我们需要根据具体任务和数据特性，灵活运用并调整这些方法。

资源推荐

资源详情

资源评论

收起资源包目录

建立决策树模型，进行数据处理.zip （5个子文件）

content

main.py 1KB

common

__init__.py 0B

DecisionTree.py 4KB

__pycache__

DecisionTree.cpython-37.pyc 3KB

__init__.cpython-37.pyc 147B

from math import log import operator """ 决策树类 """ class DecisionTree: def __init__(self): pass # 创建决策树 def createTree(self, dataSet, labels): classList = [example[-1] for example in dataSet] # 类别：男或女 if classList.count(classList[0]) == len(classList): return classList[0] if len(dataSet[0]) == 1: return self.majorityCnt(classList) bestFeat = self.chooseBestFeatureToSplit(dataSet) # 选择最优特征 bestFeatLabel = labels[bestFeat] myTree = {bestFeatLabel: {}} # 分类结果以字典形式保存 del (labels[bestFeat]) featValues = [example[bestFeat] for example in dataSet] uniqueVals = set(featValues) for value in uniqueVals: subLabels = labels[:] myTree[bestFeatLabel][value] = self.createTree(self.splitDataSet \ (dataSet, bestFeat, value), subLabels) return myTree # 计算数据的熵(entropy) def calcShannonEnt(self, dataSet): numEntries = len(dataSet) # 数据条数 labelCounts = {} for featVec in dataSet: currentLabel = featVec[-1] # 每行数据的最后一个字（类别） if currentLabel not in labelCounts.keys(): labelCounts[currentLabel] = 0 labelCounts[currentLabel] += 1 # 统计有多少个类以及每个类的数量 shannonEnt = 0 for key in labelCounts: prob = float(labelCounts[key]) / numEntries # 计算单个类的熵值 shannonEnt -= prob * log(prob, 2) # 累加每个类的熵值 return shannonEnt # 按某个特征分类后的数据 def splitDataSet(self, dataSet, axis, value): retDataSet = [] for featVec in dataSet: if featVec[axis] == value: reducedFeatVec = featVec[:axis] reducedFeatVec.extend(featVec[axis + 1:]) retDataSet.append(reducedFeatVec) return retDataSet # 选择最优的分类特征 def chooseBestFeatureToSplit(self, dataSet): numFeatures = len(dataSet[0]) - 1 baseEntropy = self.calcShannonEnt(dataSet) # 原始的熵 bestInfoGain = 0 bestFeature = -1 for i in range(numFeatures): featList = [example[i] for example in dataSet] uniqueVals = set(featList) newEntropy = 0 for value in uniqueVals: subDataSet = self.splitDataSet(dataSet, i, value) prob = len(subDataSet) / float(len(dataSet)) newEntropy += prob * self.calcShannonEnt(subDataSet) # 按特征分类后的熵 infoGain = baseEntropy - newEntropy # 原始熵与按特征分类后的熵的差值 if (infoGain > bestInfoGain): # 若按某特征划分后，熵值减少的最大，则次特征为最优分类特征 bestInfoGain = infoGain bestFeature = i return bestFeature # 按分类后类别数量排序，比如：最后分类为2男1女，则判定为男； def majorityCnt(self, classList): classCount = {} for vote in classList: if vote not in classCount.keys(): classCount[vote] = 0 classCount[vote] += 1 sortedClassCount = sorted(classCount.items(), key=operator.itemgetter(1), reverse=True) return sortedClassCount[0][0] '''用决策树分类函数''' def classify(self, inputTree, featLabels, testVec): if type(inputTree) == str: return "" firstStr = list(inputTree.keys())[0] # 获取tree的根节点对于的key值 secondDict = inputTree[firstStr] # 通过key得到根节点对应的value # 判断根节点名称获取根节点在label中的先后顺序，这样就知道输入的testVec怎么开始对照树来做分类 featLabels = [firstStr] if len(featLabels) == 0 else featLabels featIndex = featLabels.index(firstStr) classLabel = "" for key in secondDict.keys(): if testVec[featIndex] == key: if type(secondDict[key]).__name__ == 'dict': classLabel = self.classify(secondDict[key], featLabels, testVec) else: classLabel = secondDict[key] return classLabel

评论收藏

内容反馈