没有合适的资源?快使用搜索试试~ 我知道了~
第一章 综述(陈梦实整理)1
需积分: 0 0 下载量 99 浏览量
2022-08-03
18:20:56
上传
评论
收藏 1.53MB PDF 举报
温馨提示
试读
14页
1. 关联分析 2. 分类与预测 3. 聚类分析 4. 概念/类别描述 5. 时间序列分析 6. 离群点分析 7. 演变分析 1. 精确度 2. 效率高 3.
资源详情
资源评论
资源推荐
到额外内容之前是老师画的重点。
数据挖掘的背景、起源、为什么会有这件事情?
二十世纪末以来,全球信息量以惊人的速度急剧增长,据估计,每二十个月将增加一
倍。四V特征如下:
大量(volume):量很大,虽然我们现在不用量来区分了。
高速(velocity):更新很快,现在每时每刻都在产生着新的数据,我们希望得到
实时的分析结果。
多样(variety):数据是几种的结合(结构化、非结构化、半结构化)
真实(veracity):数据是真实数据,当前采用的数据时用户真实意图的反映(所
以需要数据的甄别)
目前的数据库系统虽然可以高效实现数据的录入、查询、统计等功能,但无法发现数据
中存在的关系和规则,无法根据现有的数据预测未来的发展趋势。
大数据挖掘技术应运而生并显示出强大生命力
大数据时代,变革医疗卫生
大数据时代,变革军事决策
大数据时代,变革生活出行
大数据和普通数据的区别就是其多态性,实际上不会用量来区分。
数据挖掘与传统的数据分析有什么区别?
数据分析:是指用适当的统计分析方法对收集来的大量数据进行分析,提取有用信息和
形成结论而对数据加以详细研究和概括总结的过程。这一过程也是质量管理体系的支持
过程。在实用中,数据分析可帮助人们作出判断,以便采取适当行动。它是对数据的一
种操作手段。或者算法。目标是针对先验的约束,对数据进行整理、筛选、加工,由此
得到信息。
数据挖掘:是数据库知识发现中的一个步骤。数据挖掘一般是指从大量的数据中通过算
法搜索隐藏于其中信息的过程。它是对数据分析手段后的信息,进行价值化的分析。
数据分析和数据挖掘的区别在于:
数据分析,是以输入的数据为基础,通过先验的约束,对数据进行处理,但是不以
结论何如为调整。例如你需要图像识别,这个属于数据分析。你要分析人脸。数据
通过你的先验的方法,就是出来个猫脸。你的数据分析也没有问题。你需要默默的
承受结果,并且尊重事实。因此数据分析的重点在于数据的有效性、真实性和先
验约束的正确性。
数据挖掘,是对信息的价值化的获取。价值化自然不考虑数据本身,而是考虑数据
是否有价值。由此,一批数据,你尝试对它做不同的价值挖掘。评估,则就是数据
挖掘。此时对比数据分析,最大的特点就是,你需要调整你的不同的先验约束,再
次对数据进行分析。而先验的约束已经不是针对数据来源自身的特点,例如信噪比
处理算法。而是你期望得到的一个有价值的内容,做先验的约束。以观测,数据根
据这个约束,是否有正确的反馈。
大数据时代的数据挖掘有什么变化?
传统的数据挖掘(DataMining)定义:
从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中;
提取隐含在其中的、人们事先不知道的但又是潜在有用的信息和知识。
大数据时代的数据挖掘三大关键转变:
转变一:从数据抽样到全数据
在大数据时代,我们可以进行数据分析,有时甚至可以处理和某个特别现象相
关的所有数据,而不再依赖于随机抽样。
全数据:
样本=总体
传统的随机抽样自身存在缺陷
目前已有足够强大的数据采集能力、存储能力和计算能力
转变二:从尽可能精确到允许不精确
研究数据如此之多,以至于我们不再热衷于追求精确度。
允许不精确:
大数据由于自身特征,必然存在不精确数据,无法避免
量变引起质变:用数量来纠正错误
对于小规模或特定数据,仍需要精确
转变三:从因果关系到相关关系
我们不再热衷于寻找因果关系,而是寻找相关关系。
相关关系/联系性:
如果A和B经常同时发生,那么B发生了,就可以预测A也发生了
探求“是什么”而不是“为什么”
“相关关系提供清晰的视角,而加上因果关系时,很多视角就可能被屏蔽
掉。”
注:
如何处理缺失数据(不完全的数据)?
用平均值替代、删除该记录、用该记录的其他数据寻找相似记录填补……
但大数据时代并不需要对缺失数据进行填补。
噪声是什么?
噪声数据未必是坏的数据,只是与一般行为不太一致的数据点(被称为噪声点)
噪声点一般情况下来说是要被识别的,通常代表着不同的意义。
比如,大家都考60分的课,有个人考了90,他就是个噪声。
大数据挖掘的定义?
从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中;
提取隐含在其中的、人们事先不知道的但又是潜在有用的信息和知识。
大数据挖掘的主要功能?
七个:关联分析、分类与预测、聚类分析、概念/类别描述、时间序列分析、离群点分析、
剩余13页未读,继续阅读
好运爆棚
- 粉丝: 31
- 资源: 342
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功
评论0