大数据技术初探.docx

大数据技术初探 作者：谭琳 来源：《科技创新导报》 2014年第4期 谭琳 （省军区信息化处 山东济南 250099） 摘要：大数据是继物联网、云计算技术后世界又一热议的信息技术，这种密集型数据爆炸现象的出现，标志着"大数据"时代的到来。文章介绍了大数据的概念，分析阐述了大数据相关技术。 关键词：大数据 数据处理 相关技术 中图分类号：TP334 文献标识码：A 文章编号：1674-098X(2014)02(a)-0048-01 "大数据"是从英语"Big Data"一词翻译而来的，是当前IT界热议和追逐的对象，是继物联网、云计算技术后世界又一热议的信息技术，发展迅速。截至2011年年底，全球互联网总数据存储量已达100亿TB以上，并且以59％以上的年增长率递增。麦肯锡公司在2011年的报告(Bigdata：the Next FrontierforInnovation)中，对这种密集型数据爆炸的现象称为"大数据"时代的到来。大数据领域出现的许多新技术，是大数据采集、存储、处理和呈现的有力武器。 1 大数据概念 大数据概念的前身是海量数据，但两者有很大的区别。海量数据主要强调了数据量的规模，对其特性并没有特别关注。而大数据对传播速率、体积、特征等数据的各种特性进行了描述。目前对大数据最广泛的定义是：大数据是无法在一定时间内用通常的软件工具进行收集、分析、管理的大量数据的集合。大数据的特点一般用"4V"概括，即：Volume：数据量大，目前大数据的最小单位一般被认为是10～20TB的量级；Variety：数据类型多，包括了结构化、非结构化和半结构化数据；value：数据的价值密度很低；velocity：数据产生和处理的速度非常快。 2 大数据相关技术 2.1 大数据处理通用技术架构 大数据的基本处理流程与传统数据处理流程的主要区别在于：由于大数据要处理大量、非结构化的数据，所以在各个处理环节中都可以采用并行处理。目前，MapReduce等分布式处理方式已经成为大数据处理各环节的通用处理方法。 MapReduce分布式方法最先由谷歌设计并实现，包括分布式文件系统GFS、MapReduce分布式编程环境以及分布式大规模数据库管理系统Bigrable。MapReduce是一套软件框架，包括Map和Reduce两个阶段，可以进行海量数据分割、任务分解与结果汇总，从而完成海量数据的并行处理。MapReduce的工作原理是先分后合的数据处理方式。Map即"分解"，把海量数据分割成若干部分，分给多台处理器并行处理；Reduce即"合并"，把各台处理器处理后的结果进行汇总操作，以得到最终结果。用户只需要提供自己的Map函数以及Reduce函数就可以在集群上进行大规模的分布式数据处理。MapReduce将处理任务分配到不同的处理节点，因此具有更强的并行处理能力。 大数据技术初探全文共3页，当前为第1页。 大数据技术初探全文共3页，当前为第1页。 2.2 大数据采集 大数据的采集是指利用数据库等方式接收发自客户端(Web、App或者传感器形式等)的数据。大数据采集的主要特点是并发访问量大，因为同时有可能会有成千上万的用户来进行访问和操作，比如火车票售票网站的并发访问量在峰值时达到上百万，这时传统的数据采集工具很容易失效。大数据采集方法主要包括：系统日志采集、网络数据采集、数据库采集、其他数据采集等四种。 2.3 大数据分享 目前数据分享主要通过数据集市和开放数据平台等方法实现。开放数据平台可以提供涵盖本地服务、娱乐、教育和医疗等方方面面的数据集合，用户不但可以通过API访问，还可以很方便地通过SDK集成到移动应用当中。在线数据集市除了提供下载数据的功能外，还为用户提供上传和交流数据的场所。数据平台和数据集市不但吸引有数据需求用户 还能够吸引很多数据开发者在平台上进行开发。 2.4 大数据预处理 数据预处理就是对采集的数据进行清洗、填补、平滑、合并、规格化以及检查一致性等处理，并对数据的多种属性进行初步组织，从而为数据的存储、分析和挖掘做好准备。通常数据预处理包含三个部分：数据清理、数据集成和变换和数据规约。 2.5 大数据存储及管理 大数据需要行之有效的存储和管理，否则人们不能处理和利用数据，更不能从数据中得到有用的信息。目前，大数据的存储和管理技术主要分三类：分布式文件系统、数据仓库和非关系型数据库(NoSOL)。 2.6 大数据分析及挖掘 大数据的分析和挖掘是一种决策支持过程，它主要基于人工智能、机器学习、模式识别、数据挖掘、统计学、数据库等技术，高度自动化地分析大数据，做出归纳性的推理，从中挖掘出潜在的模式，从而在大数据中提取有用信息。大数据的分析和挖掘与传统的数据挖掘比较有两个特点：一是通常采用并行处理的方式；二是大数据分析对实时处理的要求很