大数据应用发展及挑战.pdf

Vol. 32 No.7 Jul. 2016 赤 峰 学 院 学 报渊 自 然 科 学 版 冤 Journal of Chifeng University渊 Natural Science Edition冤 第 32 卷 第 7 期 渊 下冤 2016 年 7 月 大数据应用发展及挑战 白 晟袁 李荣香 渊东北石油大学袁 河北 秦皇岛 066004冤 摘 要院随着现代社会信息技术的高速发展及网络尧云计算在人们日常生活中应用的增加袁产生了大量的非结构化数据袁 这些数据为我们了解尧认知尧改造世界提供了重要的依据.企业和个人通过计算机尧移动设备尧网络等工具不断制造并传输着 大量的信息袁这些信息既包括了企业的还涵盖了个人及其它事物的袁同时信息还在不断繁衍并迅速的增加.大数据已经悄然 融入到我们的生活的每一个角落袁并无时无刻的影响着我们.如何发掘尧利用尧组织这些种类繁杂的数据并保证数据在传递和 使用过程中的的安全是我们当前非常重视的问题之一袁同时它也给我们带来了巨大的挑战. 关键字院大数据曰信息安全曰大数据应用曰大数据挑战 中图分类号院TP311.3 文献标识码院A 文章编号院1673- 260X 渊 2016冤07- 0020- 02 收稿日期院2016-03-25 基金项目院基于 AR 的互动式 3D 电子书的研究与发展渊201502A004冤 1 大数据概述 当今世界处在信息数据高速发展的时期袁 伴随着 IOT尧 SNS尧移动网络尧云计算等技术的不断革新袁大量增长的数据 给我们的生活带来了便利尧 提高了我们的工作效率以及对 科学发展模式的变革袁 但同时也出现了一些严峻的问题诸 如院数据安全尧数据存储尧数据处理等带来了新的挑战.大数 据作为新一代的生产力将为人类的发展提供巨大的财富袁 对整个社会的进步起着非常重要的作用. 2 大数据的定义 大数据 渊 big data 冤袁指不能在可承受的时间范围内用普 通软件工具进行搜集尧 管理和处理的体量非常大的数据集 合.大数据技术可以从种类繁多尧体量巨大的数据中迅速尧方 便得到有价值的资源.我们所认知的大数据还包括搜集数据 的设备尧系统和数据分析平台. 整个世界的数据体量出现了惊人的增长袁 在高速增长 的各种资源中袁数据无疑是高增长之一的资源.根据国际数 据公司的测试统计袁全世界的数据总量在 2009 年比之前的 年代足足增长了百分之六十二. 截止到 2014 年仅中国的数 据总量都到达了 909EB袁 这样的数据量占全球份额的百分 之十三左右袁再过十五年数据量还会爆发增长至 8060EB.对 于在数据类型中的结构化数据和非结构化数据也伴随着数 据总量不断增长. 作为当前国家非常重视的大数据医疗尧大 数据教育尧大数据电商尧大数据使用等热点问题袁受到了很 多学科领域尧政府部门等专业人员及领导的关注及重视袁但 是对于非结构化数据的处理我们使用以前的方法尧 经验已 经难以应付.如何面对当前的数据资源的利用尧采集尧整合等 问题袁给我们的处理方式带来了巨大的挑战. 3 大数据特点 对于大数据具有公认的几个基本特点: 数据规模大 (Volume)袁数据种类多(Variet}}袁数据要求处理速度快(Veloci- ty)袁数据价值密度低(Value)袁即所谓的四 V 特性. 第一袁数据体量大.当前数据规模从 TB 单位发展提升 到 PB袁 更大级别的为 EB 单位.1024GB=1TB曰1024TB=1PB曰 1024PB=1EB曰1024EB=1ZB曰1024ZB=YB.从以上的公式换算 中我们可以明确了解到数据单位的体量大小.如果以人类语 言量大小为单位袁 我们所统计出来的人类历史至今的语言 量为 5EB. 第二袁数据类型繁多.结构化数据和非结构化数据作为 数据类型的分类标准.结构化数据的主要内容以方便储存的 文本为对象.非结构化数据在各种场合应用日益增多对我们 的处理带来了更高的技术难度袁 如何应对是我们所面临的 首要问题.对于除文本之外的 SNS社交日志袁声音尧动画尧照 片尧地理位置等信息的采集尧过滤尧输出需要更高的方法. 第三袁数据价值密度低.我们对于视频数据的采集和发 掘比较费时袁对于一个小时的视频内容袁我们采集尧监控挖 掘需要很多的时间袁 但是真正有价值需求的数据却很少.那 么如何通过特定的机器算法和软件算法快速找到需要的数 据是我们当前亟需解决的问题. 第四袁处理速度快.对于大数据和传统海量数据最大的 一个区别就是数据体量和对数据处理的速度.大数据要求对 数据的实时处理速度很高.对计算机硬件架构及软件算法都 有很高的要求. 我们传统的对数据运算计时单位分别是星 期尧日及小时.此时下降到更短的计时周期分别以分钟和秒 为计量单位.数据处理的速度成为大数据重要价值表现之一 的特点. 这些数据特点