关于大数据基本概念及数据挖掘的算法.pdf资源-CSDN文库

版权申诉

75 浏览量 2023-07-22 00:15:43 上传评论收藏 621KB PDF 举报

资源推荐

资源详情

资源评论

关于大数据基本概念及数据挖掘的算法

一、大数据基本概念

大数据 Big Data 是指大小超出了常用的软件工具在运行时间内可以承受的收集，管理

和处理数据能力的数据集;大数据是目前存储模式与能力、计算模式与能力不能满足存储与

处理现有数据集规模产生的相对概念。

大数据的预处理

主要完成对已接收数据的辨析、抽取、清洗等操作。

(1)抽取：因获取的数据可能具有多种结构和类型，数据抽取过程可以帮助我们将这

些复杂的数据转化为单一的或者便于处理的构型，以达到快速分析处理的目的。

(2)清洗：对于大数据，并不全是有价值的，有些数据并不是我们所关心的内容，而

另一些数据则是完全错误的干扰项，因此要对数据通过过滤“去噪”从而提取出有效数据。

大数据带来的数学问题

在数学上来看，计算机中存在不断变大的数据集，不存在绝对的大数据，计算机中的

所有数据集都是有限集合。

大数据采样——把大数据变小、找到与算法相适应的极小样本集、采样对算法误差的

影响

大数据表示——表示决定存储、表示影响算法效率

大数据不一致问题——导致算法失效和无解、如何消解不一致

大数据中的超高维问题——超高维导致数据稀疏、算法复杂度增加

大数据中的不确定维问题——多维度数据并存、按任务定维难

大数据中的不适定性问题——高维导致问题的解太多难以抉择

大数据的特征

稠密与稀疏共存：局部稠密与全局稀疏

冗余与缺失并在：大量冗余与局部缺失

显式与隐式均有：大量显式与丰富隐式

静态与动态忽现：动态演进与静态关联

多元与异质共处：多元多变与异质异性

量大与可用矛盾：量大低值与可用稀少

目前大数据的外延

大数据规模大小是一个不断演化的指标：

当前任务处理的单一的数据集,从数十 TB 到十几 PB 级的数据规模(TB«PB«EB«ZB)

处理大数据的可等待的合理时间依赖任务的目标：

地震数据预测要求在几分钟内才有效、气象数据应该在小时级别、失联飞机数据处理

要在 7 天之内、数据挖掘一般要求在 12 小时内

二、大数据悖论

大数据已被定义为科学探索的第四范式。继几千年前的实验科学、数百年前的理论科

学和数十年前的计算科学之后，当今的数据爆炸孕育了数据密集型科学，将理论、实验和

计算仿真等范式统一起来。大数据已被誉为“非竞争性”生产要素。大数据具有“取之不尽，

用之不竭”的特性，在不断的再利用、重组和扩展中持续释放其潜在价值，在广泛的公开、

共享中不断创造着新的财富。根源在于，大数据的价值在于预测未知领域、非特定因素的

未来趋势，在于破解长期的、普遍的社会难题。而目前的大数据技术和应用，依然局限于历

史和实时数据的关联分析，局限于满足短线的、特定的市场需求。解决悖论的过程，恰恰

是理论和方法应运而生的过程。而人们试图解决悖论的努力，正好是大数据落地生根的推动

力。

本内容试读结束，登录后可阅读更多

下载后可阅读完整内容，剩余7页未读，立即下载

内容反馈

版权申诉

jane9872

粉丝: 95
资源: 7750

最新资源

资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！点击此处反馈

feedback-tip