云计算-基于Hadoop公存式计算的遥感产品生产系统.pdf资源-CSDN文库

版权申诉

175 浏览量 2022-06-30 20:57:37 上传评论收藏 3.44MB PDF 举报

提高生产效率 by leveraging Hadoop's distributed computing capabilities. This system is specifically designed for the rapid and on-demand production of environmental remote sensing thematic products. 论文深入探讨了Hadoop的MapReduce编程模型，这是一种用于大规模数据处理的并行计算框架。MapReduce将大型数据集划分为小块，并在集群中的多个节点上并行执行Map和Reduce操作。在此基础上，论文以全球环境监测指数和草原干旱指数产品为例，设计并实现了并行生产算法。通过调整MapReduce的输入键、输入值和分区函数，以适应特定的遥感产品生产算法，从而优化数据处理流程。此外，为了解决多个MapReduce任务之间的依赖关系，论文还引入了工作流技术，确保复杂生产作业的高效协调。通过在单节点和Hadoop集群上的实验，论文对比分析了串行与分布式计算方式在遥感产品生产中的效率差异。Hadoop集群在处理大量遥感数据时展现出显著的优势，能够根据计算节点的数量动态扩展计算能力，从而加速产品生产。这不仅缩短了产品生成的时间，也提高了资源利用率。再者，论文利用Hadoop分布式计算平台，结合Java 2 Platform Enterprise Edition (J2EE) 和WebGIS技术，构建了一个全球生态环境遥感专题产品生产与服务系统。该系统以订单驱动，允许用户提交定制化的需求，然后通过Hadoop集群快速生成所需的产品。系统涵盖了订单管理、系统管理、数据管理和专题产品生产等多个环节，形成一个完整的生产流程。相比于传统的桌面型遥感产品生产系统，这个基于Hadoop的系统显著提升了生产效率，同时为环境领域的研究人员提供了便捷获取专题产品的新途径。这篇论文通过利用Hadoop的分布式计算能力，成功地解决了海量遥感数据处理的挑战，提高了生态环境遥感专题产品的生产效率。提出的系统不仅能够满足大规模数据处理的需求，还能灵活应对用户的不同需求，为遥感数据分析和应用领域带来了重要的技术进步。关键词包括：Hadoop、MapReduce、分布式计算、遥感专题产品。

资源推荐

资源详情

资源评论

摘要

遥感技术是对地观测的重要手段，种类繁多的生态环境遥感产品从不同角度

反应了区域和全球范围内森林、草原、水等重要资源的状态信息，使得有效掌握

全球生态环境的变化趋势及其相应影响成为可能。当前世界许多国家均发射了数

量不等的对地观测遥感卫星，如美国的 Landsat、Terra、Aqua，法国的 Spot 等等，

这些卫星每天将产生海量的对地观测数据，为生产全球范围的生态环境遥感专题

产品提供了丰富的数据源。然而，面对海量的遥感数据以及复杂的专题产品生产

算法模型，传统的串行生产方式由于较低的运行效率，已逐渐不能满足对大规模

遥感数据及时、高效处理的要求。

针对此问题，论文利用 Hadoop 在分布式计算方面的优势，结合生态环境遥感

专题产品的生产需求，构建了一套具有较高生产效率的遥感产品生产系统，实现

快速、按需生产生态环境遥感专题产品。论文的主要研究内容包括：

（1）论文以全球环境监测指数和草原干旱指数产品为例，使用 MapReduce

编程模型设计并实现了产品并行生产算法。结合 MapReduce 模型的工作原理和具

体生产算法的特点，研究并设计了 MapReduce 模型的输入键、输入值和分区函数。

针对具有多个 MapReduce 任务的复杂生产作业，使用工作流技术解决各

MapReduce 模型间的依赖关系，确保专题产品的高效生产。

（2）基于构建的生态环境专题产品 MapReduce 生产模型，使用单节点和

Hadoop 集群以串行和分布式计算的方式生产了全球范围内的相应产品，对比分析

了串并行生产方式之间的效率差异，以及在不同计算节点情况下 Hadoop 集群的运

算性能。

（ 3 ）基于 Hadoop 分布式计算平台，结合 Java 2 Platform Enterprise

Edition(J2EE )、WebGIS 等技术，设计并实现了全球生态环境遥感专题产品生产与

服务系统。针对用户对于专题产品的生产需求，系统以接受订单的方式，利用

Hadoop 集群快速生产出符合用户要求的专题产品。系统围绕 Hadoop 生态环境专

题产品生产，实现了从订单管理、系统管理、数据管理到最终专题产品生产的一

个较为完整的生产环境。与传统桌面型遥感产品生产系统相比，系统不仅有效提

高了遥感专题产品的生产效率，同时也为生态环境领域相关研究人员提供一种方

便、高效获取专题产品的方式。

关键词：Hadoop，MapReduce，分布式计算，遥感专题产品

万方数据

ABSTRACT

Satellite remote sensing is an important method for earth observation and research

of global environment changes. Status information of forest, grassland, water etc. can be

acquired through the use of ecological environment remote sensing products. These

products have been widely used in scientific research institutes and industry sector.

Meanwhile, lots of countries have launched a plenty of remote sensing satellite, such as

Landsat, Terra, Aqua, Spot etc., which producing huge amounts of earth observation

data every day. However, the production of global ecological remote sensing products

has been considered as a compute-intensive and data-intensive task because of the

massive input data and complex calculation model. Traditional serial production method

is unable to meet the requirements of the task since its low computation efficiency.

To solve this problem, a remote sensing products processing system is presented to

effectively produce the ecological environment remote sensing products by utilizing

Hadoop, which is a quite popular distributed computing framework. The main contents

of this thesis is list as below.

(1) This thesis implementate the algorithms of the Global Environment Monitoring

Index and Global Grassland Drought Index by using MapReduce programming model.

The format of input key, input value, and partition function are elaborately designed by

taking the operational principle of MapReduce model and the characteristics of the

algorithms into account. To deal with the complicated production work which contains

several MapReduce procedures, workflow technology is used in order to tackle the

dependence between these procedures.

(2) Different computation methods, including the serial and distributed

computation methods, are used to processing the global scale of the products mentioned

above. This thesis compared the efficiency differences between serial and distributed

computation, and also measured the efficiency of Hadoop cluster by using different

number of computing nodes in the process of the production.

(3) This thesis design and implement the Global Ecological Environment Remote

Sensing Production System by utilizing the technologies of Hadoop, J2EE, WebGIS, etc.

The system carries out the production tasks in Hadoop cluster according to the

requirement of users. The functions of order analysis, production control, data and

万方数据

第一章绪论 .................................................................................................................... 1

1.1 研究目的及意义 ............................................................................................... 1

1.2 国内外研究现状 ............................................................................................... 2

1.2.1 遥感产品生产系统研究现状 .................................................................... 2

1.2.2 高性能计算在遥感中的研究现状 ............................................................ 3

1.3 技术路线 ........................................................................................................... 6

1.4 论文组织结构 ................................................................................................... 7

第二章遥感专题产品生产系统技术基础 .................................................................... 8

2.1 Hadoop 框架介绍 .............................................................................................. 8

2.2.1 Hadoop 框架 ............................................................................................... 8

2.2.2 MapReduce 编程模型 ............................................................................... 10

2.2.3 HDFS 并行文件系统 ................................................................................ 13

2.2 Hadoop 工作流介绍 ........................................................................................ 16

2.2.1 Hadoop 工作流 ......................................................................................... 16

2.2.2 Azkaban 工作流引擎 ................................................................................ 16

2.3 J2EE 平台介绍 ................................................................................................. 17

2.3.1 J2EE 平台简介 .......................................................................................... 17

2.3.2 J2EE 标准规范 .......................................................................................... 18

2.4 WebGIS 介绍 .................................................................................................... 19

2.4.1 WebGIS 特点 ............................................................................................. 20

2.4.2 WebGIS 主要功能 ..................................................................................... 20

2.5 本章小结 ......................................................................................................... 21

第三章生态环境遥感专题产品算法实现及串并行程序性能分析 .......................... 22

3.1 生态环境专题产品介绍 ................................................................................. 22

3.1.1 全球环境监测指数 .................................................................................. 22

3.1.2 草原干旱指数 .......................................................................................... 22

3.2 MapReduce 程序配置 ...................................................................................... 27

3.2.1 MapReduce 输入值 ................................................................................... 27

3.2.2 MapReduce 输入键 ................................................................................... 27

3.2.3 MapReduce 分区函数 ............................................................................... 28

万方数据

目  录 
 
V 
3  生态环境专题产品生产算法 MapReduce 实现 ............................................ 28 
3.1  全球环境监测指数产品生产算法 MapReduce 实现 ............................. 28 
3.2  草原干旱指数产品生产算法 MapReduce 实现 ..................................... 29 
4  实验结果分析 ................................................................................................. 31 
4.1  实验环境 .................................................................................................. 31 
4.2  分布式程序性能评价 .............................................................................. 32 
4.3  全球环境监测指数产品生产串并行程序结果分析 .............................. 33 
4.4  草原干旱指数产品生产串并行程序结果分析 ...................................... 34 
5  本章小结 ......................................................................................................... 37 
第四章 生态环境遥感专题产品生产系统设计 .......................................................... 38 
1  系统需求分析 ................................................................................................. 38 
1.1  系统流程分析 .......................................................................................... 38 
1.2  系统用户分析 .......................................................................................... 39 
1.3  系统数据需求分析 .................................................................................. 39 
1.4  系统安全分析 .......................................................................................... 40 
1.5  功能需求分析 .......................................................................................... 40 
2  系统设计原则 ................................................................................................. 41 
2.1  实用性原则 .............................................................................................. 41 
2.2  先进性原则 .............................................................................................. 41 
2.3  可扩展性原则 .......................................................................................... 41 
2.4  系统安全性原则 ...................................................................................... 41 
2.5  系统易用性和友好性原则 ...................................................................... 41 
3  系统体系结构 ................................................................................................. 42 
3.1  系统物理架构 .......................................................................................... 42 
3.2  系统总体架构 .......................................................................................... 43 
4  系统数据库设计 ............................................................................................. 44 
4.1 生产数据库设计 ....................................................................................... 44 
4.2  遥感基础产品数据库设计 ...................................................................... 47 
5  系统功能设计 ................................................................................................. 48 
6  系统运行环境 ................................................................................................. 49 
6.1  硬件平台 .................................................................................................. 49 
6.2  软件平台 .................................................................................................. 49 
6.3  开发环境 .................................................................................................. 49 
万方数据