大数据技术研究.doc

大数据技术研究 作者：杨静 来源：《计算机时代》2015年第01期 摘 ;要： 大数据技术是继物联网、云计算技术之后IT业界又一次技术浪潮。为了全面深入地理解 大数据技术的内涵，从大数据的定义及4V特征、关键技术及主要应用领域等四个方面进 行阐述。介绍了大数据的基本概念、特征，总结了大数据的热门应用领域并用典型案例 进行佐证，重点剖析了云计算、Hadoop、数据备份等三大核心技术及关键策略，最后对 大数据应用中滋生的信息安全隐患提出了相应的对策。 关键词： 大数据; 4V特征; Hadoop; 云计算 中图分类号：TP391 ; ; ; ; ;文献标志码：A ; ; 文章编号：1006- 8228（2015）01-13-02 Overview on big data technology Yang Jing （Department of Computer Science， Yunyang Teachers' College， Shiyan， Hubei 442000， China） Abstract： Big data is a new technical wave after the network of things and cloud computing. To understand ;big data technology， the definition and 4V characteristics， the key technologies and main application fields are systematically analyzed in the paper. Through the introduction of the basic conception， characteristics， the main application fields with typical cases are summarized. The core technologies， key strategies of cloud computing， hadoop and data backup are analyzed. The potential information safety risks are pointed out. The countermeasures are given to provide some suggestions and references for wider application and study in the future. Key words： big data; 4V characteristics; Hadoop; cloud computing 0 引言 物联网、云计算等新兴技术的迅速发展开启了大数据时代的帷幕。大数据技术 是指从各种各样的海量数据中，快速获取有价值信息的技术，大数据的核心问题就是大 数据技术。目前所说的"大数据"不仅指数据本身的规模大，还包括采集数据的工具、平 台和数据分析系统复杂程度大。大数据的研发目的是发展大数据技术并将其应用到相关 领域，解决实际生产、生活中的各种问题，从而推动信息技术健康地可持续发展。 1 大数据的定义及主要特征 与其他新兴学科一样，目前大数据没有一个统一的标准和定义。一般认为：大 数据是由大量异构数据组成的数据集合，可以应用合理的数学算法或工具从中找出有价 值的信息，并为人们带来经济及社会效益的一门新兴学科。大数据又被称为海量数据、 大资料、巨量数据等，指的是所涉及的数据量规模巨大，以至于无法在合理时间内通过 人工攫取、管理、处理并整理成为人类所能解读的信息。这些数据来自方方面面，比如 社交网络、传感器采集、安防监控视频、购物交易记录等。尽管尚无统一定义，但这些 无比庞大的数据被称为大数据。大数据具有如下4V特性[1]： 体量Volume，是指数据存储量大，计算量大; 多样Variety，是指大数据的异构和多样性，比如数据来源丰富，数据格式包括多种不同 形式，如网络日志、音频、视频、图片、地理位置信息等等; 价值Value，是指大数据价值密度相对较低，信息海量，但是要挖掘出真正有价值的数据 难度较大，浪里淘沙却又弥足珍贵; 速度Velocity，是指数据增长速度快，处理速度要求快。 2 大数据技术的应用领域 通过对海量数据进行采集、分析与处理，挖掘出潜藏在数据海洋里的稀疏但却 弥足珍贵的信息，大数据技术正在对经济建设、医疗教育、科学研究等领域产生着革命 性的影响，其所带来的巨大使用价值正逐渐被各行各业的人们所感知。 2.1 金融领域 大数据的火热应用突出体现在金融业，各大互联网企业（谷歌、阿里巴巴等） 纷纷掘金大数据，开创了新