基于MapReduce模型的生态遥感参数反演并行化方法与实现

所需积分/C币:9 2015-10-08 11:06:29 13MB PDF
6
收藏 收藏
举报

基于MapReduce模型的生态遥感参数反演并行化方法与实现
基于 MapReduce模型的生态逼感参数反演并行化方法与实现 Abstract With the continuous development of remote sensing technology, remote sensing data acquisition represents three-multi(multi-platform, multi-sensor, multi-angle) and three-high (high spatial resolution, high spectral resolution and high temporal resolution)trend. The rapid increase of remote sensing data and the limited data processing capabilities of traditional remote sensing image processing software make the image processing speed become the botleneck of remote sensing technology application and development in different areas. In order to improve the remote sensing image processing speed and meet the real-time or near real-time processing demand of remote sensing application in ecological environment monitoring and disaster forecast, this paper investiges the potential application of cloud computing and parallelization computing techniques to remote sensing data processing, uses long time series of ModiS data to carry out Three Rivers district ecological environment parameter parallel inversion based on MapReduce model in open source cloud computing platform Hadoop The main contents in this paper are as the followings 1)Cloud computing platform and MapReduce parallel model execution mechanism. This paper in-depth studies cloud computing platform and MapReduce parallel programming model, builds cluster system based on cloud computing platform, establishes the parallel framework based on Map Reduce model, analyzes the basic idea of cloud computing and the cloud computing platform architecture in detaiL, in-depth parses the implementation mechanism and running mode of parallel frame based on MapReduce model 2)Data partitioning method for the parallel processing of remote sensing data. This paper summarizes the existing remote sensing data parallel processing sub-block methods, in-depth studies different remote sensing image processing methods need for remote sensing data sub-block in parallel computing. According to the selected research area, data source, the proposed inversion parameter and the characteristics and actual demand of the selected image inversion method, in view of different process and stage of MapReduce parallel frame, the paper designs the compatible data sub-block method, to ensure the selected ecological environment parameters of the study area be parallel inversed efficiently and reliably 3)Parallel framework combination application based on MapReduce model On the basis of serial remote sensing data processing, this paper in-depth analyzes remote sensing image application requirement in different process or stage, studies and designs the parallel framework combination of different ecological remote sensing parameter used in parallel inversion: studies the frame combination method and forms three frame combination application modes, which are one frame combination application, independent frame 兰州交通大学硕士学位论文 combination application and relational combination application, to complete parallel inversion of variety ecological environment factors 4)Remote sensing image parallel processing method based on MapReduce model Combing mapreduce model and ecological remote sensing parameters inversion model and algorithm, this paper makes ecological remote sensing parameter inversion method be integrated into MapReduce model parallel frame, achieves to combing ecological remote sensing parameter inversion algorithm and Map Reduce parallel frame organically, and studies the implementation method of applying MapReduce parallel model to different ecological remote sensing parameter inversion. Keywords: MapReduce Model; Remote Sensing Inversion; Ecological Environment Parameter; Parallel Computing; Cloud Computing 兰州交通大学硕士学位论文 1绪论 随着遥感技术的进步和应用需求的日新月异,遥感影像数据量正成几何级数倍增, 各个行业和科研院所都在不同程度上应用遥感影像解决实际问题。日新月异的遥感技术 使得生态遥感参数定量反演大范围应用成为可能。遥慼影像大范围观测、全天候、动态 实时等特点为宏观硏究生态环境的变化与动态监测提供了有利条件。然而,遥感技术的 进步,使得通过遥感技术获得的数据量急剧增长12,遥感图像的处理速度成为遥感技 术在不同领域应用和发展的巨大阻力,严重制约可遥感技术的广泛应用。在并行计算广 泛应用于遥感领域的大背景下,应用并行的方法来解决海量遥感数据处理所面临的题 日趋成熟。结合并行计算、遥感图像处理、生态遥感参数定量反演等技术与理论进行高 效快速生态遥感参数定量反演已经成为可能,并且成为研究的热门课题。 1.1研究背景与意义 遥感技术的发展使得遥感数据和技术方法广泛的应用于生态遥感动态监测中。在 80金 年代外国学者ayor等就已经开始应用遥感数据进行归一化植被指数的计算,并 应用计算后的指数动态监测草地生产力。通过遥感技术Main等在实验室中研究了作 物冠层的叶面积指数(LAI)、生物量与NDⅥ三者之间的关系。同时,其他学者也对 生态遥感环境因子的反演与动态监测进行了大量的研究。成功发射的 Terra moDiS 卫星,使得应用遥感数据进行生态遥感参数定量反演成为热点研究课题81138(G、 RS、GPS)技术自20世纪80年代以来广泛应用于生态遥感参数定量反演中,有效结合 生态参数定量反演的理论与技术方法和3S技术,取得了丰硕的研究成果。冯险峰[刁等 人应用GS与RS技术,以TM数据为主要数据源,结合相关学科的信息,建立了中国 陆地生物量的监测模型。徐斌等应用 Terra/ MoDis相关产品及统计数据估算了草地生 产力。罗玲、王宗明等根据 NASAMODIS获得的NDVI、RV、EⅥ和MA四种 植被指数数据产品,结合野外站点实测数据和地学统计方法建立草量估算模型,并应用 该模型对研究区域进行反演和评价分析。 遥感技术的进步与发展、多平台、多传感器、多角度遥感传感器的诞生以及不同应 用需求对遥感影像三高(高空间分辨率、高光谱分辨率、高时间分辨率)的要求,遥慼 技术获取的数据具有多源化和多样性的特点,针对不同的应用需求,不同尺度下得遥感 影像的数据量激增。遥感技术的各个应用领域对遥感图像处理的效率和时间上提出了更 高的要求,并且大幅提高遥感影像处理效率和实际工作生产中的矛盾日渐突出。针对这 种情况,传统意义上的单机单核的计算机硬件在性能上无法满足海量遥感数据处理的需 求,应用单个处理器串行的处理巨量遥感数据的方式面临着严峻的挑战。在特定的应用 基于 MapReduce模型的生态遥感参数反演并行化方法与实现 中(如应急服务、灾害评估等),基于单机处理遥感数据已经难以满足业务需求。并行 处理海量遥感数据是遥感图像处理的必然趋势。具体体现在 1)海量数据: 不同尺度和不同传感器获得的遥感数据多种多样,遥感影像的分辨率大幅提高,遥 感数据处理中显现出更加强烈的计算性。普通的PC机和价格高昂的单个高性能计算机 已经无法满足海量遥感数据处理对时间效率的要求。并行计算技术能够解决这一问题, 并使得遥感影像实时、近实时的处理与分析成为可能。 2)实时处理: 遥感技术的不断发展的同时,遥感技术的应用和理论方法也日新月异。但高效实时 的处理海量数据制约着遥感技术的推广与应用。因此,为了达到遥感数据的实时处理, 并行技术与遥感影像处理的有效结合显得十分关键。 3)处理能力较低的单机系统: 一直以来,各大计算机厂商都在不断的提升其产品的性能,以提高数据的计算速度。 但是单芯片频率近乎极限,通过提升产品的计算能力,无法提高数据的计算速度。并行 计算技术成功的解决了单机处理能力接近极限的问题。以计算机累加性能总高过于单个 计算机计算性能的理论为理论基础,利用集群技术,有机的组织多个独立的计算机以用 于并行计算。 4)规模化数据处理: 目前,大多数遥感数据处理软件如:Edrs、Env等均是基于单机系统的,其在数 据计算的吞吐量、处理效率和自动化程度均受到了极大的制约,无法满足规模化数据处 理与生产的需求1S。目前,遥感应用已由自然、无机环境、资源以及静态观测与识别等 方面的应用转向人文、生态和环境以及动态监测与评估。通过利用遥感技术手段、组 合多平台、多源遥感数据,形成一条高效、快速的遥感影像处理与生产的流水线,是遥 感数据处理发展的必然趋势 5)成本与系统扩展: 计算机的价格是制约遥感影像数据处理速度的一个重要因素,高性能计算机能够提 高遥感数据的处理速度,但是其提高的效率有限。普通计算机通过集群组成一个强大的 数据处理平台,不仅可以提高遥感影像数据处理的速度,同时还具有灵活的扩展性,组 成廉价、高效的数据处理平台。 从单处理器、单线程、单机系统到目前的多处理器、多线程、计算机集群系统、网 格计算和云计算。各个阶段的发展中军体现了进行遥感数据的高效实时处理的紧迫性与 必要性,体现了人们对高性能计算和高效实时的遥感影像处理的强烈要求。2007年云计 算在分布式计算、并行计算、网格计算的进一步发展中诞生,并经过几年间的发展,成 兰州交通大学硕土学位论文 为各行各业炙手可热的新兴技术,产生了巨大的影响。各大T巨头(如Goge、 Amazon 等)厂商均通过推出新产品和新型技术来抢夺自己产品在云计算市场所占的份额。 Goole 是全世界最大的搜索引擎厂商,面对来自全球的数据分析、检索、处理所带来的巨大压 力,如何能够更好的快速、高效的为用户提供准确、可靠的信息是 Google的目标。云 计算技术为上述问题提供了一个可靠的解决方案。它极大程度上的运用了云计算的优 势,整合与分配搜索引擎内部的资源,发展简单、高效的技术,有机结合成干上万廉价 的计算机,使之协同工作,共同完成海量数据搜索、分析以及处理的任务。同时 Google 针对云计算技术的特征,开发出了与之匹配的文件系统、并行编程模型以及相关的技术 主要包括:GFS分布式文件系统、 MapReduce并行编程模型、 Chubby1分布式锁服 务和 bigtable02布式非结构化数据存储系统等。 Apache开源社区应用Java开发了 Hadoop2,它对Goge云计算产品的GF、 MapReduce, Bigtable进行了开源实现,其 对应的开源产品为HDFS、 MapReduce、 HBase 本文依托于国家测绘地理信息局与青海省政府合作建设“三江源区生态环境遥感动 态监测地理信息系统”项目和西部测图工程。以课题组已有生态遥感参数反演成果为基 础,经过分析,寻找针对生态遥感反演过程中的可并行部分,将基于单机的串行反演程 序并行化,以解决串行生态遥感反演成果反演时间长、执行效率低等问题。 由于遥感数据的数据量不断增加,不同应用需求对遥感数据的处理速度和效率有了 更高的要求。因此,基于单机的生态遥感参数的自动化反演已经不能满足特定应用(如 应急服务,灾害评估等)的需求。基于 Map reduce模型的生态遥感参数并行化反演实 现并行计算在生态遥感领域的应用,搭建廉价高效的计算机集群系统,加速生态因子动 态反演程序的执行速度,充分利用系统资源,以实现高效、快速、动态、稳定的生态遥 感参数的反演。基于 MapReduce模型的生态遥感参数并行化反演具有一定的科学研究 和工程应用意义。 1.2国内外研究现状 受函数式编程语言Ljp语言的启发,2004年 Google公司提出 MapReduce编程模 型,并将其首先应用于大型的集群系统。2007年,Goge’ s Map Reduce Programming Model-Reviste-论发表,进一步详细介绍了 Google Map Reduce模型以及 sazwall并 行处理海量数据分析语言。2008年,雅虎公司宣布搭建出世界上最大的基于 Hadoop 的 集群系统一Yaho! earch Webmap,其他公司及科研院所也逐渐应用 MapReduce模型进 行搜索引擎开发、日志统计分析、科学计算等。开放云联盟OCC应用 MapReduce模型 进行遥感影像处理,以识别自然灾害的影响区域,并完成开源 Mast项目 基于 MapReduce模型的生态選感参数反演并行化方法与实现 国外研究团队及科研机构对 MapReduce模型进行不断的扩展,2007年经yang和 Dandan等人扩展并改进 MapReduce并行模型,在 Mapreduce模型执行的各个阶段之 后,增加 Merge步骤形成一个新型 MapReduceMerge模型。斯坦福大学的 Ranger和 Raghuraman等人的将 MapReduce并行模型应用到多核的处理器中,并形成一个应用在 多核的处理器中改进型的 MapReduce并行框架。DkM等人5将多核异构的单元处 理器与 MapReduce并行模型有机结合,并取得了相应的研究成果 2008年之后,鉴于Hdop的快速发展,影响不断扩大。国内越来越多的全业(如: 淘宝、百度、腾讯、网易、金山等)也开始开展基于Had0op的应用与研究。 MapReduce 模型的应用与研究也渐渐开始从互联网向其他领域蔓延开来,如电信行业的中推出了用 于数据分析和对外提供服务的“大云”( Big Cloud)系统。目前,很多科研院所也投入到 Mapreduce模型的应用和研究中,包括中科院、清华大学、浙江大学和华中科技大学等, 并取得了丰硕的研究成果。2008年,万至臻在其一篇关于 MapReduce模型的论文中 提出了一种基于该模型的并发方法处理海量数据方法;2009年在郑启龙、房明等2发 表论文“基于 Mapreduce模型的并行科学计算”一文中应用 MapReduce模型并发的进 行科学计算,真真切切的将 MapReduce模型应用到复杂、高计算特性的科学计算中 2010年丁光华、周绻鹏等悶2发表论文“基于 MapReduce的贝叶斯分类算法的设计与实 现”,成功解决了海量文本文档分类在训练和测试过程中效率低、耗时长的问题。同时 MapReduce模型在分布式搜索引擎、 MapReduce框架模型研究、云计算、并行算法的设 计与实现等也有较好的应用293 1.3主要研究内容与工作 本文针对海量生态遥感参数反演时间长和效率低等问题,研究基于 MapReduce模 型的生态遥感参数并行化反演方法与实现。研究内容主要包括 1)遥感影像数据分块方法 针对遥感影像在并行化处理过程中的不同阶段,设计了不同的遥感影像分块方式, 包括均匀遥感影像数据分块策略、不均与遥感影像数据分块策略和影像叠置数据分块三 种策略,以满足不同的处理过程和应用需求对遥感影象数据分块的要求。 2) MapReduce并行框架组合应用方法 生态遥感参数的定量反演过程不尽相同。因此,根据生态遥感参数反演类型和并行 化反演中对框架组合应用的要求,研究并设计了不同生态遥感参数在进行并行化反演应 采用的并行框架的组合方式。研究框架组合方法,以完成各种生态环境因子并行化的反 演 3)基于 MapReduce模型的生态遥感参数并行反演方法 兰州交通大学硕士学位论文 结合 MapReduce模型和生态遥感参数反渲的模型与算法,将生态遥感参数的反演 方法集成到基于 MapReduce模型所搭建的并行框架中,实现不同生态遥感参数反演算 法与 Mapreduce并行框架的有机结合,研究应用 Map reduce并行模型进行不同生态遥 感参数反演的实现方法; 4)实验结果与性能分析评价 应用(1)-(3)中所阐述的并行化反演方法,以海量遥感影像并行化预处理和植被覆盖 度、生物量与载畜量三个生态环境遥感参数的并行化反演为例,对拟选研究区域进行生 态环境遥感参数的并行化反演,验证基于 MapReduce并行编程模型并行反演生态遥感 参数的可行性以及生态遥感参数并行化反演性能的评价与分析; 结合以上的研究内容,论文的技术路线如下图11示。 研究区域确定与数据源选取 基于 MapReduce模型的集群 环境搭建 反演遥感数据上传至HD文 植被覆盖度并行化反演 件系统中 影像数据分块设计与 基于 MapReduce模型的遥感 Mapreduce并行框架应用设计 影像并行化预处理 研究区域内生物量与载畜量遥 基于 MapReduce模型的生态 感监測模型建立与选取 遥感参数并行化反演 生物量并行化载备量并行化 反演 反演 遥感数据反演结果存储到 HDFS文件系统中 图1.1技术路线图 5 基于 MapReduce模型的生态遥感参数反演并行化方法与实现 1.4论文组织结枸 本文共分为5章,具体的结构组织如下图: 背景与现状 关键技术 RN0打编看模型相关技术 反演方法 MapReduce模型的性态遥感参数并行化反 第章 实验与分析 这实验结果与分析 M 总结与展望 图1.2论文组织结构图 第一章:绪论介绍生态遥感参数定量反演的发展和应用并行计算进行生态遥感参数 定量反演的必然性和必然趋势,阐述了基于 MapReduce模型并行化处理的国内外研究 现状和实际的研究意义; 第二章:介绍并行计算、云计算和 Mapreduce并行模型的相关技术,详细阐述基 MapReduce并行编程模型的基本思想、阶段描述、执行流程和容错机制 第三章:基于 MapReduce模型的遥感影像并行化反演方法,其中包含文件系统的 结构设计、遥感影像数据分块策略、 Map Reduce并行框架组合方法、 MapReduce框架中 不同处理阶段中<key,alue>键值对的设计以及生态遥感参数反演所采用的算法和模型; 第四章:应用第四章的所阐述的并行化反演方法,以植被覆盖度、生物量和载畜量 三个生态环境因子的反演为例,根据生态遥感参数反演的不同类型,确定具体的反演流

...展开详情
试读 69P 基于MapReduce模型的生态遥感参数反演并行化方法与实现
立即下载 低至0.43元/次 身份认证VIP会员低至7折
一个资源只可评论一次,评论内容不能少于5个字
您会向同学/朋友/同事推荐我们的CSDN下载吗?
谢谢参与!您的真实评价是我们改进的动力~
关注 私信
上传资源赚积分or赚钱
最新推荐
基于MapReduce模型的生态遥感参数反演并行化方法与实现 9积分/C币 立即下载
1/69
基于MapReduce模型的生态遥感参数反演并行化方法与实现第1页
基于MapReduce模型的生态遥感参数反演并行化方法与实现第2页
基于MapReduce模型的生态遥感参数反演并行化方法与实现第3页
基于MapReduce模型的生态遥感参数反演并行化方法与实现第4页
基于MapReduce模型的生态遥感参数反演并行化方法与实现第5页
基于MapReduce模型的生态遥感参数反演并行化方法与实现第6页
基于MapReduce模型的生态遥感参数反演并行化方法与实现第7页
基于MapReduce模型的生态遥感参数反演并行化方法与实现第8页
基于MapReduce模型的生态遥感参数反演并行化方法与实现第9页
基于MapReduce模型的生态遥感参数反演并行化方法与实现第10页
基于MapReduce模型的生态遥感参数反演并行化方法与实现第11页
基于MapReduce模型的生态遥感参数反演并行化方法与实现第12页
基于MapReduce模型的生态遥感参数反演并行化方法与实现第13页
基于MapReduce模型的生态遥感参数反演并行化方法与实现第14页

试读结束, 可继续读6页

9积分/C币 立即下载 >