云计算-基于Hadoop的MapReduce计算模型优化与应用研究.pdf

I

摘 要

随着互联网的迅速发展，特别是近年来，突飞猛进的移动互联网和电子商务

的发展，网络已经进入了互联网+时代。“互联网+”时代具有如下特点：大规模

数据集，多终端等。企业建立一套 IT 系统不仅需要购买硬件等基础设施，还需要

专人维护。当企业的规模扩大时还要继续升级各种软硬件设施以满足需要，传统

数据处理方法存在数据存储成本过高、数据管理效率低、可靠性较低、并行处理

来合并这些中间结果，增加了网络传输大量中间结果的负担以及造成 Reducer 的

闲置，总体上降低了 MapReduce 的效率。

本文通过对 MapReduce 计算模型的工作原理、运行机制和容错机制的研究，

提出了一种 MapReduce 计算模型优化方案。即在 Yarn 框架中，使用 MPI 技术实

现 Reducer 与 Mapper 并行处理中间结果。通过实验可知，本方法提升了 MapReduce

计算效率，降低了计算与存储的耦合性。另外，通过应用实例——重点污染物排

放量测算系统，在不改变该系统的基础上，利用 Sqoop 数据迁移技术，结合优化

后的 MapReduce 计算模型和存储技术的优点，设计并实现了一种关系型数据库和

分布式数据库并存的方案，以期解决关系数据库的存储和访问效率等问题，在实

现存储和计算分离的同时降低了中小企业的硬件开支。

II

multi-terminal platforms. Enterprises to establish an IT system not only need to purchase

hardware and other infrastructure, but also need someone to maintain. When the size of

the business will continue to expand the hardware and software upgrade facilities to meet

the needs of traditional data processing method has high cost of data storage, data

management and low efficiency. Especially for small and medium enterprises, and

computer hardware and software just to improve computing and storage efficiency tool.

Hadoop cloud computing as an inherited many excellent characteristics of cloud

computing. Coupled with its subprojects MapReduce and HDFS open source, scalable

and other characteristics, has become a popular cloud computing development platform.

But there are some flaws in some scenarios shortcomings. For example MapReduce

the use of MPI technology enables Reducer Mapper runs in parallel with the processing

of intermediate results. Through experimental analysis group to enhance the MapReduce

computational efficiency, reduce the coupling between computation and storage. In

addition, without changing the basic business focus pollutant emissions calculation

system based on the use Sqoop data migration technology, combined with the advantages

of the optimized MapReduce computation model and storage technologies, to design a

relational database and distributed database solutions exist, solve the storage and access

efficiency relational database issues for storage and computing separation while reducing

the cost of development of SMEs.

Keywords: Cloud Computing; MapReduce; HDFS; HBase

III

第二章 Hadoop 基础框架 ................................................. 5

IV

第五章 结论与展望 .................................................... 41

致 谢 ................................................................ 43

参考文献 ............................................................. 44

附录 1 攻读硕士学位期间发表的论文 ..................................... 48

服务的连接是未来的趋势。云计算

为大数据分布式存储、并行计算、高度集中应

用和大数据实时备份等问题提供了一个有效方案，为用户提供了近乎无限的计算能

力和存储能力。它自诞生就拥有了高可用性、高效性、高伸缩性和成本低廉的特性，

是实现产业互联网化的重要技术支撑。

Hadoop 作为云计算的一个实现，继承了云计算的诸多优良特性。再加上其自有

的开源、可扩展等特性，越来越被各 IT 巨头作为其云计算环境的重要基础软件

。

国外有雅虎的云计算系统、IBM 的蓝云项目、亚马逊的 EC2（Elastic Compute Cloud）

和 S3（Simple Storage Service）等等。目前，国内对云计算的应用研究也取得了一

定进展。腾讯、阿里、百度等企业都采用 Hadoop 作为基础框架部署了自己的云计

来合并这些中间结果，增加了网络传输大量中间结果的负担并造成 Reducer 的闲置，

总体上降低了 MapReduce 的效率。

另外，为满足企业日益扩大的发展规模和激增的数据量，企业在增加硬件设备

的同时，必须相应配备大量人力进行系统维护工作。在进行大规模数据计算任务时

原有的企业网络信息系统等解决方案存在缺陷。增加软硬件只是企业实际运作中应

对计算和存储问题的措施，不能从根本上解决问题。在这样的背景下，利用云计算

技术，对 MapReduce 计算模型进行性能分析和优化，并设计一种关系型数据库与分

布式数据库结合的企业开发方案，可以解决分布式数据计算时的数据分割、任务分

配以及存储效率问题，对解决关系型数据库存储和访问效率，实现计算和存储分离，

使企业有效应对数据规模大等实际应用需求变化有着重要意义。