论文研究-基于遥感卫星数据的分布式处理研究 .pdf

所需积分/C币:9 2019-08-16 14:49:46 575KB .PDF
21
收藏 收藏
举报

基于遥感卫星数据的分布式处理研究,李硕,杨正球,本研究主要介绍了在对海量遥感卫星数据的加工生产中的分布式并行处理方法,用于解决现有遥感卫星数据分布式并发处理平台只适用于
山国武花论文在丝 为了区分不同层次的输入输出文件,将原始数据文件统划入G01层,经过预处理后的 数据划入G02层,生产出来的初级产品划入G03层。该EMIS产品的生产所涉及的文件和处 理程序之间的输入输出关系如图1所小。 G01 MOD09A1 Pre Modis GW MQDyAINS G= EMIS MDd ChAINS EMIS MO 1 G12 MCD3B Gul MCD=B Fre MCD 43B G1 MCD3B2 图文件与处理程序关系图 在确定文件和处理程序之间的输入输岀关系后,需要考虑在实际分酉仼务时,任务如何 进行划分,这个步骤的确定也是命名树的确定。 Modis卫星数据是将全球地域进行划分,划 分的每一块叫做一景,每一景以h和ⅴ两个坐标来标记,类似经纬度的划分。每一景的文件 对于其他景都是相对独立的,可以进行独立的处理。而 Modis顶处理和EMIS产品的生产过 程中,需要利用不同时间的数据进行迭代,因而,对于处理程序而言,最小的处理单位是一 年一景,命名树按照“顶层-年-景”的方式确定。命名树的创建用于方便实际仟务的划分, 使任务划分更为清晰,同时在涉及给系统用户展示系统当前进度时,可以方便用户的査看, 如用户想査看某一年所有景的进展情況,则通过与系统的交互选中感兴趣的年份,系统将该 年份下的进度展示给用户,若用户还想进一步查看某一景的进度,则可以通过再次交互得到 具体某一景的执行进度信息。 若要处理2003年到2005年,hlvl,h2v1,h3v1的数据,则可以先将任务按年划分成 2003到2005的子任务,在对每一个子仁务进行进一步细分,如2003年hv1、2003年h2v1、 2003年h3vl,2004年hlvl2004年h2vl、200姓4年h3vl等。这样确立的划分是按照年-景 划分的,也可以采用景优先的方式 在实际执行过程中,输入文件为ld格式,这些文件根据其经过的处理,可以归类为 原始数据文件、预处理文件、初级产品文件,分别以G01、G02、G03前缀命名以小区别,在 做了这个基本划分后,按照具体是哪颗卫星或是哪个产品进行分类,按卫星分如 MODIS 卫星,风云卫星等,按产品分如发射率产品EMIS,反照率产品RAD等。在此之后按照具体 的产品还可以进行一次分层,如在 MODIS下还有不同的数据 MODIS09、 MOIDS43等。这一步 对文什的分层主要是出于文件管理的方便。 进行预处理和产品生产的处理程序可能是由java、C++、ID等多种工具进行开发的, 在进行抽象的过程中,忽略掉其只体的细节,仅作为一个转换类进行抽象。把预处理过程中 山国武花论文在丝 使用的处理程序划为G12层,即将文件类从G01转化为G02的程序。同理,初缴产品生产所 用的程序归为G23层。则 Pre modis09AINS、 Pre mcd43B3属」G12层, EMIS Modis属」G23 在完成上述步骤后,分别构造文件类和转换关的oid树。Oid树的建立有两个作用,其 是使得文件类和转换类的管理变得更加方便有条理,另一方血也为给系统用户提供实际任 务执行时当前进度的分层显示。 该实施例所建立的文件类如表1所示,所建立的转换类如表2所示,其中 Alias作为每 文什类的唯一标识,转换类的名称唯一。 表文件类 分层前缀 文件名称 表转换类 序号 转专换类名称 输入文件类 输出文件类 主配置文件是为了让系统明确系统中所涉及的各种处理程序、文件及其关系而创建的。 本研究采用ⅫML格式定义配置文件。 主配置文件中oid- definitions部分配置oid树,对文件类和转换类进行了oid配置 并配置了虚拟的起始节点 start和完结节点end。oid树的1.1.1中配置了文件类,1.1.2 配置了转换类,1.1.3配置命名树,命名树按照年景进行任务划分。在 山国武花论文在丝 fileclass- definition和 transclass- definition中,分别对文件类和转换类进行定义 在 mapc lass- definition中,按照命名树的划分对每一层的依赖图模型进行定义,分别是顶 层视图、年视图、景视图,用于程序运行时初始化运行的实例图。 本例中使用的系统在运行时,根据实际运行时要执行的年份和要进行计算的景号,生成 另外两个配置文件,分别为任务配置文件和依赖图实例配置文件。任务配萓文件,将任务依 照命名树的分层进行了划分;依赖图实例配置文件,为系统自动生成的与任务对应的顶层依 赖图实例配置文件。 依据上述步骤生成的几个配置文件,上调程序就可生成任务执行时的文件依赖图和转换 依赖图 主机启动任务时,进入如下界面: 初始化元数据显示元数据初始化命名树初始化项级实产生所有实图产生赖图执行执行后结果浏 启动虚执行 启动实际执行 出视执行情况 终止当前运行 运钉结束 清除结果 图系统启动界面 本例中使用的系统通过依赖图实例配置文件,可以为用户生成任务执行状态的顶层图: 图任务执行顶层图 在双击顶层图后,为用户展示2001年全球各景的分景执行状态图,如图4所 山国武技论文在丝 012343678910111213141516171819202122232425262728293031 2345678 11111 图全球分景执行图 选中某一景,则进入具体的单景执行实例图,如图5所示 图单景执行实例图 其中,顶层图、分景图、单景图均为进度展示用,并非调度必须的 本例中所使用的系统采用最基本的任务池,暂时并未对系统任务的优先级进行定义。主 机负责任务监控,从机根据自身执行能力从任务池中领取任务。 运行时,主机上的主调程序将任务按照年-景分割,每年每景作为个了任务,建 立多个转换实例,每个子任务对应一个转换实例图。在文件依赖图中列出任务中涉及的所有 输入输出文件类,监视每个任务所对应的文件状态。如2001年h0v10任务,需要2001年 h04v10的对应G01 MODIS09A1,MOD43B2,MOD43B3作为输入,过程当中会生产出2001年 G02_ MODDIS09A1NS文件及G02MOA3B3文件,当系统发现这两个文件全都准备好时,则对 应的2001年hovl0的EMIS处理程序就可以执行。主机通过和各分机通信监控执行状态, 山国武花论文在丝 并修改转换依赖图中各转换的状态。当个转换类满足执行条件,并被主机标记为open吋, 则从机可以领取该任务并执行,执行完毕后可以继续领取新的任务。当所有状态均 finish 时,任务完成 结论 (1)本研究通过对文件和处理程序进行扣象,根据文件和处理程序之间的输入输出关 系生成文件类和处理类之间的依赖关系,并基于依赖关系自动生成全局的依赖图,基于依赖 图实现全局的分布式仁务处瑆及调度。由于通过依赖图主机能够实时掌握各子任务的运行状 态,当一个子任务的运行条件满足时,系统能够自动动态添加新的子任务,所以本研究不仪 解决了每·个处理步骤的任务分配问题,同时解决了在数据处理中,数据和任务实时变化情 况下的动态调度问题。 (2)本研究可通过修改接口方便的史换实际的处理程序并适应不同的输入输出文件 使用对象标识树可以很好的支持扩展,当业务流程发生变动时,可通过修改配置文件方便的 重新确定依赖关系,使待系统只有可扩展性、活性和通用性,冋时不失对于只体问题的针 对性 (3)本硏究能够自动生成全局可视化监控视图,动态监控并行化处理仟务的执行情况, 使用户能够直观地感觉到任务的执行状态,具有更好的交互界面。 (4)通过实验体现出了在PC机群上的分布式处理优势,但由于上从机和磁盘阵列之间 通信和数据传输汋开销,分布式处理效率并不随着分机的增多一直保持线性增长。此时, 些更优化的策略如合并和延迟通信、计算与道信重叠等可应用到分布式并行处理中,以解 决更多的遥感卫星数据的分布式处理问题。 参考文献 严俊雄,王文,李子扬,李女谣感卩星图像产品自动化输出系统的设计与实现遥感信息遥感信息 刘刚侯宾翟周伟 开源云计算平台北京:北京邮电大学出版社, 王玲,龚健雅基 文件的组织方式与影像提取测绘通报, 周海芳遥感图像并行处理算法的硏究和应用长沙国防科学技术人学,

...展开详情
试读 7P 论文研究-基于遥感卫星数据的分布式处理研究 .pdf
立即下载 低至0.43元/次 身份认证VIP会员低至7折
一个资源只可评论一次,评论内容不能少于5个字
您会向同学/朋友/同事推荐我们的CSDN下载吗?
谢谢参与!您的真实评价是我们改进的动力~
关注 私信
上传资源赚钱or赚积分
最新推荐
论文研究-基于遥感卫星数据的分布式处理研究 .pdf 9积分/C币 立即下载
1/7
论文研究-基于遥感卫星数据的分布式处理研究 .pdf第1页
论文研究-基于遥感卫星数据的分布式处理研究 .pdf第2页

试读结束, 可继续读1页

9积分/C币 立即下载 >