云计算环境下大数据分析.docx

云计算环境下大数据分析 云计算环境下大数据分析是当前大数据处理的热点话题，本文将从大数据处理流程、云计算与大数据分析的关系、基于云计算环境的 Hadoop 等几个方面对云计算环境下大数据分析进行详细的介绍。 大数据处理流程是云计算环境下大数据分析的基础，整个流程可以分成四个阶段：数据采集、数据处理与集成、数据分析和数据解释。 数据采集是整个流程的根底，随着互联网技术和应用的开展以及各种终端设备的普及，数据的生产者范围越来越大，数据的产量也越来越多，数据之间的关联也越来越复杂。这也是大数据中“大”的表达，所以需要提高数据采集速度和精度要求。 数据处理与集成是对前一步采集到的大量数据进行适当的预处理，包括格式化、去噪以及进一步集成存储。因为数据采集步骤采集到的数据各种各样，其数据结构也并不统一，不利于之后的数据分析，而且，一些数据属于无效数据，需要去除，否那么会影响数据分析的精度和可靠性。 第三，数据分析是整个大数据处理流程的核心部分。数据分析的对象是上一步数据的处理与集成后的统一格式数据，需要根据所需数据的应用需求和价值表达方向对这些原始样本数据进一步地处理和分析。现有的数据分析通常指采用数据仓库和数据挖掘工具对集中存储的数据进行分析，数据分析效劳与传统数据分析的差异在于其面向的对象不是数据，而是数据效劳。 第四，数据解释是对大数据分析结果的解释与展现，在数据处理流程中，数据结果的解释步骤是大数据分析的用户直接面对成果的步骤，传统的数据显示方式是用文本形式表达的，但是，随着数据量的加大，其分析结果也更复杂，传统的数据显示方法已经缺乏以满足数据分析结果输出的需求，因此，数据分析企业会引入“数据可视化技术”作为数据解释方式。通过可视化结果分析，可以形象地向用户展示数据分析结果。 云计算与大数据分析的关系是紧密的，云计算是基于互联网的相关效劳的增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源，是一种按使用量付费的模式。这种模式提供可用的、便捷的、按需的网络访问，进入可配置的计算资源共享池〔资源包括网络、效劳器、存储、应用软件、效劳〕，这些资源能够被快速提供，只需投入很少的管理工作，或与效劳供给商进行很少的交互。 目前，国内外已经有不少成熟的云计算的应用效劳。数据分析是整个大数据处理流程里的最核心的局部。数据分析是以数据的价值分析为目的的活动，而基于大数据的数据分析通常表现为对已获取的海量数据的分析，其数据来源可能是企业数据也可能是企业数据与互联网数据的融合。 从目前的趋势来看，云计算是大数据的IT 根底，是大数据分析的支撑平台，不断增长的数据量需要性能更高的数据分析平台承载。所以，云计算技术的不断开展可以为大数据分析提供更为灵活、迅速的部署方案，使得大数据分析的结果更加精确。 另一方面，云计算的出现为大数据分析提供了扩展性更强，使用本钱更低的存储资源和计算资源，使得中小企业也可以通过云计算来实现属于自己的大数据分析产品。大数据技术本身也是云计算技术的一种延伸。大数据技术涵盖了从数据的海量存储、处理到应用多方面的技术，包括海量分布式文件系统、并行计算框架、数据库、实时流数据处理以及智能分析技术，如模式识别、自然语言理解、应用知识库等等。 基于云计算环境的 Hadoop 是一个基于 MapReduce 算法为分布式计算框架，包括分布式文件系统〔HDFS〕、分布式数据库〔Hbase、Cassandra〕等功能模块在内的完整生态系统。基于 Hadoop，用户可编写处理海量数据的分布式并行程序，并将其运行于由成百上千个节点组成的大规模计算机集群上。 本节以电信运营商为例，说明在云计算环境中基于 Hadoop 的大数据分析给大数据用户带来的价值。当前传统语音和短信业务量下滑，智能终端快速增长，移动互联网业务开展迅速，大数据分析可以为运营商带来新的时机，帮助运营商更好地理解用户行为，提高运营商的运营效率和盈利能力。