数据挖掘笔记思维导图1

数据挖掘是信息技术领域的一个关键分支，它涉及到从大量数据中提取有用信息，形成知识和洞察。数据挖掘的任务主要分为三类：分类、预测型任务和描述型任务。分类任务是根据已有特征将数据对象归入预定义的类别；预测任务涉及预测未知变量，如回归分析，用于预测连续值，而异常发现则是寻找数据中的不寻常模式。 数据预处理是数据挖掘过程中的重要环节，其目的是确保数据的质量，包括数据清理（去除错误、不完整或不一致的数据）、数据集成（合并来自多个来源的数据）、数据变换（如标准化、规范化）和数据归约（降低数据维度，简化数据结构）。数据预处理的目的是提高挖掘结果的准确性和可解释性。 在数据描述阶段，统计描述用于概括数据的基本特性，如平均值、中位数、众数等衡量数据的中心趋势，而方差和标准差则反映数据的离散程度。异常值检测通常使用IQR（四分位距）方法，通过剔除超出正常范围的数据点来保持数据的稳定性和可靠性。 数据挖掘中的相近性度量是评估数据对象间相似性的方法，对于标称属性，简单匹配和Jaccard系数常被使用；对于数值属性，可以使用欧氏距离、曼哈顿距离等；对于向量对象，余弦相似性是常见的选择。此外，关联规则分析是发现数据中频繁项集和强关联规则的过程，Apriori和FP-growth是经典的关联规则挖掘算法。 关联规则不仅用于市场预测，还可以帮助决策制定。支持度和置信度是评估关联规则强度的关键指标，频繁项集是满足最小支持度阈值的项集，而强关联规则则是同时满足最小支持度和最小置信度的规则。分类和预测任务中，支持向量机(SVM)、决策树、贝叶斯网络和神经网络是常用的模型。SVM通过构造最大分类间隔的超平面实现分类，对于非线性问题，它引入了核函数进行映射。贝叶斯网络则利用概率和条件概率来表示变量间的依赖关系，适用于预测、诊断和学习等任务。 数据挖掘是一个涵盖多种技术和方法的综合领域，从数据预处理到模式发现，再到知识的解释和应用，每一步都对最终结果的准确性与实用性起着至关重要的作用。