大数据应用的现状与展望
1
大数据应用的现状与展望
摘 要 大数据具有规模大、 种类多、 生成速度快、 价值巨大但密度低的特
点.大数据应用就是利用数据
分析的方法, 从大数据中挖掘有效信息, 为用户提供辅助决策, 实现大数据价值
的过程.主要介绍了大数
据分析方法、 分析模式以及常用的分析工具, 将大数据应用归纳为6个关键领域
——— 结构化数据分析、
文本分析、Web分析、多媒体分析、社交网络分析和移动分析,并列举了6个
大数据的典型应用.最后,
从基础理论、 关键技术、应用实践以及数据安全4个方面总结了大数据的研究现
状,并对大数据应用未
来的研究进行展望.
关键词 大数据;数据分析;数据挖掘;非结构化数据;物联网;
引言
近来,当人们对 “物联网 ”、“云计算 ”、“移动互联网 ” 等热词还感觉模糊时, “大
数据 ” ( Big Data ) 又横空出世且其发展成燎原之势 .2014 年巴西世界杯与往届世界杯最
大不同的是,其融入了诸多的科技元素如 “云计算 ”、“大数据 ” 等.IBM 研究表明,在整
个人类文明所获得的全部数据中, 有 90%是过去 2 年内产生的,到 2020 年,全世界所
产生的数据规模将达到 2009 年的 44 倍.根据国际数据公司 IDC 监测,人类产生的数据
量正在呈指数级增长,大约每 2 年翻一番, 2020 年全球数量将达到 35 ZB.据统计,平
均每一秒都有 200 万用户在使用 Google 搜索,Facebook 注册用户超过 10 亿,每天生
成 300 TB 以上的日志数据 .同时,传感网、物联网、社交网络等技术迅猛发展,引发数
据规模爆炸式增长, 各种视频监控、 监测、感应设备也源源不断地产生巨量流媒体数据,
能源、交通、医疗卫生、 金融、零售业等各行业也有大量数据不断产生, 积累了 TB 级、
PB 级的大数据 .上述情况表明,现在已进入大数据时代,大数据已经开始造福于人类,
成为信息社会的宝贵财富 .
大数据泛指大规模、超大规模的数据集,因可从中挖掘出有价值的信息而倍受关注,但
传统方法无法进行有效分析和处理 .《华尔街日报》 将大数据时代、 智能化生产和无线网
络革命称为引领未来繁荣的 3 大技术变革 .“世界经济论坛 ” 报告指出大数据为新财富,
价值堪比石油 .因此,目前世界各国纷纷将开发利用大数据作为夺取新一轮竞争制高点的
重要举措 .当前大数据分析者面临的主要问题有 : 数据日趋庞大, 无论是入库和查询, 都
出现性能瓶颈 ; 用户的应用和分析结果呈整合趋势, 对实时性和响应时间要求越来越高 ;
使用的模型越来越复杂, 计算量指数级上升 ; 传统技能和处理方法无法应对大数据挑战 .
可喜的是,学术界、工业界甚至于政府机构都已经开始密切关注大数据问题,并对其产
生浓厚的兴趣 . 就学术界而言,《Nature》和《Science》等国际顶级学术期刊相继出版专
刊专门探讨大数据问题 .2008 年《 Nature》出版了 “Big Data” 专刊 [1],从互联网技术、
网络经济学、超级计算、环境科学、生物医学等多个科技方面介绍大数据带来的挑战 .
《Science》也在 2011 年推出数据处理 “Dealing with Data ” 专刊
[2]
,讨论大数据所带来
的挑战和大数据科学研究的重要性 .IT 产业界如 IBM 、Google、亚马逊、 Facebook 等国
际知名企业都是大数据的主要推动者, 相继推出了各自的大数据产品 .国内的大数据企业
代表有百度、阿里巴巴、腾讯等 .可以说,大数据兴起另一重要原因是经济利益驱动 .大