没有合适的资源?快使用搜索试试~ 我知道了~
【最全最详细】数据分析与挖掘实验报告.pdf
1.该资源内容由用户上传,如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
版权申诉
5星 · 超过95%的资源 1 下载量 41 浏览量
2022-07-02
07:47:02
上传
评论
收藏 1.1MB PDF 举报
温馨提示
试读
20页
【最全最详细】数据分析与挖掘实验报告.pdf【最全最详细】数据分析与挖掘实验报告.pdf【最全最详细】数据分析与挖掘实验报告.pdf【最全最详细】数据分析与挖掘实验报告.pdf【最全最详细】数据分析与挖掘实验报告.pdf【最全最详细】数据分析与挖掘实验报告.pdf【最全最详细】数据分析与挖掘实验报告.pdf【最全最详细】数据分析与挖掘实验报告.pdf【最全最详细】数据分析与挖掘实验报告.pdf
资源推荐
资源详情
资源评论
《数据挖掘》实验报告
目录
1.关联规则的基本概念和方法 ............................... 2
1.1 数据挖掘 .......................................... 2
1.1.1 数据挖掘的概念................................ 2
1.1.2 数据挖掘的方法与技术.......................... 2
1.2 关联规则 .......................................... 3
1.2.1 关联规则的概念................................ 3
1.2.2 关联规则的实现——Apriori 算法 ................ 4
2.用 Matlab 实现关联规则 .................................. 6
2.1Matlab 概述 ........................................ 6
2.2 基于 Matlab 的 Apriori 算法.......................... 7
3.用 java 实现关联规则 ................................... 11
3.1java 界面描述...................................... 11
3.2java 关键代码描述.................................. 14
4、实验总结 ............................................. 19
4.1 实验的不足和改进.................................. 19
4.2 实验心得 ......................................... 20
1
1.关联规则的基本概念和方法
1.1 数据挖掘
1.1.1 数据挖掘的概念
计算机技术和通信技术的迅猛发展将人类社会带入到了信息时代。在最近十几年里,数
据库中存储的数据急剧增大。数据挖掘就是信息技术自然进化的结果。数据挖掘可以从大量
的、不完全的、有噪声的、模糊的、随机的实际应用数据中,提取隐含在其中的,人们事先
不知道的但又是潜在有用的信息和知识的过程。
许多人将数据挖掘视为另一个流行词汇数据中的知识发现(KDD )的同义词,而另一
些人只是把数据挖掘视为知识发现过程的一个基本步骤。知识发现过程如下:
·数据清理(消除噪声和删除不一致的数据)
·数据集成(多种数据源可以组合在一起)
·数据转换(从数据库中提取和分析任务相关的数据)
·数据变换(从汇总或聚集操作,把数据变换和统一成适合挖掘的形式)
·数据挖掘(基本步骤,使用智能方法提取数据模式)
·模式评估(根据某种兴趣度度量,识别代表知识的真正有趣的模式)
·知识表示(使用可视化和知识表示技术,向用户提供挖掘的知识)。
1.1.2 数据挖掘的方法与技术
数据挖掘吸纳了诸如数据库和数据仓库技术、统计学、机器学习、高性能计算、模式识
别、神经网络、数据可视化、信息检索、图像和信号处理以及空间数据分析技术的集成等许
多应用领域的大量技术。数据挖掘主要包括以下方法。
神经网络方法:
神经网络由于本身良好的鲁棒性、自组织自适应性、并行处理、分布存
储和高度容错等特性非常适合解决数据挖掘的问题,因此近年来越来越受到人们的关注。典
型的神经网络模型主要分 3 大类:以感知机、bp 反向传播模型、函数型网络为代表的,用
于分类、预测和模式识别的前馈式神经网络模型;以 hopfield 的离散模型和连续模型为代
表的,分别用于联想记忆和优化计算的反馈式神经网络模型;以art 模型、koholon 模型为
代表的,用于聚类的自组织映射方法。神经网络方法的缺点是"黑箱"性,人们难以理解网络
的学习和决策过程。
遗传算法:
遗传算法是一种基于生物自然选择与遗传机理的随机搜索算法,是一种仿生
全局优化方法。遗传算法具有的隐含并行性、易于和其它模型结合等性质使得它在数据挖掘
中被加以应用。sunil 已成功地开发了一个基于遗传算法的数据挖掘工具,利用该工具对两
个飞机失事的真实数据库进行了数据挖掘实验,结果表明遗传算法是进行数据挖掘的有效方
法之一。遗传算法的应用还体现在与神经网络、粗糙集等技术的结合上。如利用遗传算法优
化神经网络结构,在不增加错误率的前提下,删除多余的连接和隐层单元;用遗传算法和
bp 算法结合训练神经网络,然后从网络提取规则等。但遗传算法的算法较复杂,收敛于局
部极小的较早收敛问题尚未解决。
决策树方法:
决策树是一种常用于预测模型的算法,它通过将大量数据有目的分类,从
2
中找到一些有价值的,潜在的信息。它的主要优点是描述简单,分类速度快,特别适合大规
模的数据处理。
粗糙集方法:
粗糙集理论是一种研究不精确、不确定知识的数学工具。粗糙集方法有几
个优点:不需要给出额外信息;简化输入信息的表达空间;算法简单,易于操作。粗糙集处
理的对象是类似二维关系表的信息表。目前成熟的关系数据库管理系统和新发展起来的数据
仓库管理系统,为粗糙集的数据挖掘奠定了坚实的基础。但粗糙集的数学基础是集合论,难
以直接处理连续的属性。而现实信息表中连续属性是普遍存在的。因此连续属性的离散化是
制约粗糙集理论实用化的难点。
覆盖正例排斥反例方法:
它是利用覆盖所有正例、排斥所有反例的思想来寻找规则。首
先在正例集合中任选一个种子,到反例集合中逐个比较。与字段取值构成的选择子相容则舍
去,相反则保留。按此思想循环所有正例种子,将得到正例的规则(选择子的合取式)。比较
典型的算法有 michalski 的 aq11 方法、洪家荣改进的 aq15 方法以及他的 ae5 方法。
统计分析方法
:在数据库字段项之间存在两种关系:函数关系(能用函数公式表示的确
定性关系)和相关关系(不能用函数公式表示,但仍是相关确定性关系),对它们的分析可采
用统计学方法,即利用统计学原理对数据库中的信息进行分析。可进行常用统计(求大量数
据中的最大值、最小值、总和、平均值等)、回归分析(用回归方程来表示变量间的数量关系)、
相关分析(用相关系数来度量变量间的相关程度)、差异分析(从样本统计量的值得出差异来
确定总体参数之间是否存在差异)等。
模糊集方法:
即利用模糊集合理论对实际问题进行模糊评判、模糊决策、模糊模式识别
和模糊聚类分析。系统的复杂性越高,模糊性越强,一般模糊集合理论是用隶属度来刻画模
糊事物的亦此亦彼性的。李德毅等人在传统模糊理论和概率统计的基础上,提出了定性定量
不确定性转换模型--云模型,并形成了云理论。
还有接下来重点介绍的
关联规则方法
。
1.2 关联规则
1.2.1 关联规则的概念
关联规则的一个典型例子是购物篮分析。它是由著名的全国五百强沃尔玛发现的,沃尔
玛有着世界最大的数据仓库系统,为了能够准确了解顾客在其门店的购买习惯,沃尔玛对其
顾客的购物行为进行购物篮分析,想知道顾客经常一起购买的商品有哪些。沃尔玛数据仓库
里集中了其各门店的详细原始交易数据。在这些原始交易数据的基础上,沃尔玛利用数据挖
掘方法对这些数据进行分析和挖掘。一个意外的发现是:"跟尿布一起购买最多的商品竟是
啤酒!经过大量实际调查和分析,揭示了一个隐藏在"尿布与啤酒"背后的美国人的一种行为
模式:在美国,一些年轻的父亲下班后经常要到超市去买婴儿尿布,而他们中有 30%~40%
的人同时也为自己买一些啤酒。产生这一现象的原因是:美国的太太们常叮嘱她们的丈夫下
班后为小孩买尿布,而丈夫们在买尿布后又随手带回了他们喜欢的啤酒。关联规则由此进入
人们的视野。
关联规则挖掘被定义为假设 I 是项的集合。给定一个交易数据库 D,其中每个事务
(Transaction)t 是 I 的非空子集,即每一个交易都与一个唯一的标识符 TID(Transaction ID)对
应。关联规则在 D 中的支持度(support)是 D 中事务同时包含 X、Y 的百分比,即概率;置
信度(confidence)是包含 X 的事务中同时又包含 Y 的百分比,即条件概率。
下面举个例子来更好地说明关联规则。
3
给定 AllElectronics 关系数据库,一个数据挖掘系统可能发现如下形式的关联规则
Age(X,“20….29”)^income(X,“20,000….29,000”)?=>buys(X,“CD-Player”)
[Support=20%,Confident=60%]
其中 X 是变量,代表顾客,该关联规则表示所研究的 AllElectronics 数据库中,顾客有
20%在 20-29 岁,年收入在 20,000-29,000 之间,并且购买 CD 机;
这个年龄和收入组的顾客购买 CD 机的可能性有 60%。
1.2.2 关联规则的实现——Apriori 算法
1.2.2.1 算法描述
Apriori 算法在发现关联规则领域具有很大影响力。算法命名源于算法使用了频繁项集
性质的先验(prior)知识。在具体实验时,Apriori 算法将发现关联规则的过程分为两个步
骤:第一步通过迭代,检索出事务数据库中的所有频繁项集,即支持度不低于用户设定的阈
值的项集;第二步利用频繁项集构造出满足用户最小信任度的规则。其中,挖掘或识别出所
有频繁项集是该算法的核心,占整个计算量的大部分。
Apriori 算法使用一种称作逐层搜索的迭代方法,K 项集用于搜索(K+1)项集。首先,
通过扫描数据库,累积每个项的计数,并收集满足最小支持度的项,找出频繁 1 项集的集合。
该集合记作 L1。然后,L1 用于寻找频繁 2 项集的集合 L2,L2 用于寻找 L3,如此下去,直
到不能再找到频繁 K 项集。
为提高频繁项集逐层产生的效率,一种称作 Apriori 的重要性质用于压缩搜索空间。
Apriori 性质:频繁项集的所有非空子集也必须是频繁的。如何在算法中使用Apriori 性质?
主要有两步过程组成:连接步和剪枝步。
(1) 连接步:为找 L
K
,通过将 L
(k-1)
与自身连接产生候选 K 项集的集合。该候选项集合
记作 C
K
。设 l1 和 l2 是 L
k-1
中的项集。记号 l
i
[j]表示 l
i
中的第 j 项。执行 L
(k-1)
连接 L
(k-1)
,如
果它们的前(K-2)项相同的话,其中 L
(k-1)
的元素是可连接的。
(2) 剪枝步:为压缩 C
K
,可以用 Apriori 的性质:任何非频繁的(K-1)项集都不是频
繁 K 项集的子集。因此,如果候选 K 项集的(K-1)项子集不在 L
(k-1)
中,则该候选也不可
能是频繁的,从而可以从 C
K
中删除。
1.2.2.1 算法举例
Apriori 算法的伪代码
Input: DB, min_sup
Output: result = 所有频繁项集的他们的支持度
方法:
Result: = {};
K: =1;
C
1
: = 所有的 1-项集
While(C
k
)do
begin
为每一个 C
k
中的项集生成一个计数器;
For(i=1; i<[DB]; i++)
4
剩余19页未读,继续阅读
资源评论
- qq_384249192022-11-15感谢资源主的分享,很值得参考学习,资源价值较高,支持!
不吃鸳鸯锅
- 粉丝: 8296
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功