论文研究-一种XML驱动的遥感产品生产并发数据流模型.pdf

所需积分/C币:9 2019-09-07 12:04:49 671KB .PDF
14
收藏 收藏
举报

通过分析现有遥感产品生产平台的并行策略与处理流程,结合现有的数据流模型,提出了一种XML驱动的遥感产品生产并发数据流模型,并给出该模型的文法以及并发性驱动原理。该模型通过适配XML驱动文件,有很好的拓展性。通过对模型并发性的分析,认为该模型在提高遥感产品生产效率、优化并行策略和可视化信息展示上有一定的优势。
计算机工程与应用 针对遥感产品生产需求,通过分析生产流程过程, 模型的文法描述 流程文件用于存储整个生产流程,该文件主本文的遥感产品生产并发数据流模型可以表示为 要存储项如表所示。 个四元组:M=(F,CFN),其中F是流程集合,C是 表流程文件节点描述 流程中所有节点集合,均包含一个数据输入集合D1和一 节点存储项 兑明 个数据输出集合D;E为有序积(FD)(C·D)x 流程编码 单个流程节点信息 (FD)V(CD)的一个子集,代表流程中有向边;N 输入参数 为一个流程中可并行节点集合,当集合中存在可并行节 产品输出信息 点时,生产一组对应的文件,便可进行解析驱动相 算法节点 关算法执行程序进行遥感产品生产。 表中,流程编码是由用户所输入,对绘制的流程 E中的有向边e=(AD,B,D)表示由前驱流程A 所进行的标注;输入参数包括两种形式:()值类型如的数据输出口D到后继流程B的数据输入口D的连 数值、字符串等;()文件路径,如辅助数据文件等;输出′接体现了流程执行依赖关系,其中D是流程之间的数 H录即产品输岀文件夹的路径,进度信息文件内容为生据流结构,前驱流程可通过自身的生产结果与其他流程 产进度,包括生宀节点及节点执行进度,在生产过程中的依赖关系,构建数据输入输出关系,从而更新流程 实时更新。单个流程节点信息为整体流程屮单个节点 文件驱动下一步生产执行。 的信息,该节点中的主罗属性为执行状态。算法节点表 流程中节点集合C中节点c可以表示为一个六元 示执行时所需要的算法可执行程序,该节点的主要属性组:c=(A,P,EA,D,D,s),其中A为算法节点;P为算 为执行状态与执行时所需要的条件,即前驱步骤。 法执行线程;EA为算法依赖关系,即当前算法线程执 结合遥感产品生产算法特性,算法文件主要行后生产的数据可激活后继依赖算法;D与D,分别为 是存储每个生产节点的参数,根据模型的生广流程与输数据输入集合和数据输出集合;s存储流程节点的其他 入参数生成。在可视化方面,此 文件用于显示每个属性、状态等信息 生产节点的参数;在驱动生产方面,每一个算法文 算法节点A可以用个三元组表示:A=(D,Dn,s) 件对应一个生产过程中的可执行程序,与流程文件其中D为算法输入端凵参数集合,即驱动算法可执行 起配合生产。算法 文件主要存储项如表所示 程序所需要的参数;D为算法输出端凵结果集合,即经 表算法文件节点描述 该算法处理后的产品属性相关信息;s表示算法的执行 节点存储项说明 进度和其他状态属性信息。 算法名称 算法输入参数 算法输出信息 模型并发机制 算法属性信息 为了提高遥感产品生产效率,一般情况下,在一个 表中,算法输入参数为驱动算法可执行程序执行生产流程中,如果两个节点之间不存在数据先后依赖关 生产的一些参数,算法输出信总为生产后的输出信息,系,那么这类节点就可以同时由不同的线程进行执行生 般为下一级算法节点生产所需参数。算法属性信息 。利川本文的并行数据流模型,可以非常迅速简洁地 构建并行化的生产过程,进而提升遥感产品生产速度。 是关于此算法的信息,主要有算法名,所进行的生产操 假设有如图()的一个遥感产品生产流程,以此为例, 作,算法执行进度等信息。 流程文件与算法文件结构示例如图 进·步说眀该模型的并发机制。图()中的数据流模 所示。 型均可按照单个处理节点类型拆分成图()两种类型 原子数据流模型,即灬单源输入处理节点和υ多源输 WorkFlow> < WorkFow|D混程编叫<FwD 输入参数</put <Flow Node ic="1"status=0"> pA1</ A Ak l/Alg me r putPirameters>输入参墅ts! In pulParameterspl EIrputParameters3输A整数; IrpuParamerers Ir putParameterss输入参数 n<ieputParameters utot输出结果啁Oup < AlEorithinlnfo>算法属性信思 cdAlgorithitiIno algrithm tpts>产品输出信g</ outputs> ()遥感宀品()两种类型原子()拆分后重新 ()流程文件结构 ()算法文件结构 生产流程 数据流模型 分组结构 驱动文件基本结构示例 图数据流模型转换示例 郑逢斌,等:一种驱动的遥感产品生产并发数据流模型 入处理节点,拆分后,驱动的并发数据流模型即以时间,两个生产节点并发执行的时间有一定的差距, 这些原子数据流模型为基础节点,允分发掘数据流中的(46)大于4(m8n9),因为为的 节点中 并行性,以此提高遥感产品生产效率,图()即拆分后所有属于同级并行且元依赖关系,理论上为的 重新分组结构,将可并行的节点合并构造成存在并行性 节点中需要等为的 节点中 关系结构的文件,即由初始的图结构转变为图/所有完成后才能执行。但是在本文模型中由于算 结构。山图()到()描述的数据流模型转变为 法节点由文件驱动,调度程厅在每个节点执行完 存储结构过程如卜所示 会检查更改当前 的以及其子节点的 ()首先根据处理节点类型将整个模型节点存储为 ,同时会先行查看下一步可并行 子节点是 单个原子流程节点结构,如图所示 否可执行虽然木例中为的 节点的并行 ()遍历 中的子节点 ,根据流程整体 仍为,但是经检测查询8和n9已经执 节点中的和信息,若满足以下条O行完毕,而为的 中的子节点算法只与n8 和n9有依赖关系,从而根据流程文件生产相应的 ),即可构造节点相应的驱动产m7算法文件交由集群节点执行生产,而此时为 品生产的算法文件,每次遍历都将得到一组算法的 生产节点和为的 生产节点 文件,这组算法文件即可进行并行化生产。之间同样有一定时间的并行性,从而进一步提高了整个 ()当一个算法文件执行完成后,将 生产流程的效率,更加体现了本文并发数据流模型在遥 里的相应节点属性 更改为,而且每次流感产品生产过程中的优越性。 程遍历结束后将本次有变动的节点重新规划 根据并行化过程中算法前后依赖关系,本文模型很 成·个新的 节点,继续遍历即可通过依赖关好地解决了生产节点的执行时间同步问题。假设每个 系驱动下·步算法执行。 算法节点执行时间为T,那么整个产品生产流程在无 ()循环进行步骤()和(),直到听有节点都异常情况下,结合集群分发执行和算法本身的并行化处 变为。 理,在忽略简单的文件操作时间上,最终产品生产 c?cml vr on=".encoding=gb2312"? 所需时间不超过5T。 EMg prenE=n?>ns</ag> <workFAce /RNd合 < lowHode id=nl status=05 收 Flow Node idn“ns“- 4How Node 模型的测试 FlowHode id-nT stafu3eo Fkom Node id"aU jhetusab 以生产显热产品()为例,说明本模型在产品生 FFrealgen5&nE"statusaOan3r/Ag FAg praTE Onar/ g 为 Fewd·n4s扎u03 FHwNede ie"a9 spus-au 产屮性能,生产流程如图所示。其中 wRow Noda? 太阳天顶角, 为卫星天顶角, 吧w妇ny:0 /w lows 图单原子节点构建流程文件存储结构图 为叶面积指数,为比辐射率,为地表温度、为 地表反射率,最终生成的即显热产品。实验测试中 针对示例数据流模型结构而构建的流程文 用到台机器,处理器型号为 核,内 件,以输入源分类的原子数据流为基础,在原子数据流存系统为 位操作系统,其中台机器 之间元前后数据依赖关系时候根据每个节点中的作为生产节点,台机器作为存放文件的调度服务 信息均可单独生成相应的算法 文件,从而驱动并器。测试数据为环境星数据,原始上星影像数据需要 行化通感产品生产。根据以上并发驱动执行策暗,其中进行辐射校正、简单去云、大气校正等预处理,这些过程 每一次遍历都能生成新的节点关系。最终可得到姐图不在图流程图屮体现。本文测试分为两类:无并行方 所示的并行化过程流程文件 式,每个产品采用单机串行执行;本文模型并行方式,采 ? Xml version10°enon="b21l“b> FlowNode idaa statu=o* A8pBA智°n了st0·/Ag Coded-1asD≥ κ in nOde ids d stan距 啁4pA“M&5況j0n 吧 MonDe dss watts0s F2Md纯g Ap~°n?2n8nstu0m< 图并行化构建流程文件存储结构图 实际生产过程中考虑到生产节点的不同的执行时 间,导致的不完全同步执行问题。例如,假设图中节 点n4和n6有相同的执行时间,m8和79有相同的执行 图显热产品生产流程图 计算机工程与应用 用模型并行化机制,由个生产节点并行执行。分别以产状念,可以甄别出一些流程的相同子流程,将这些流 生产 个显热产品为例,实验结果如表所示。 程归类形成成熟的原子流程,能大大简化生产流程,进 表测试结果时间表 步提升遥感产品生产效率 产品个数无并行4模型并行加遮比 个产品 参考文献: 个产品 王晋年,顾行发,明涛,等遥感卫星数据产品分类分级规 个产品 则研究遥感学报,(): 个产品 李国庆,黄震右遥感大数据的基础设施:集成、管理与按 本次实验在个机器作为生产节点下测试结果需服务机研究与发展,() 为,无并行生产一个显热产品时间大约为 使用郑逢就,张哲,余涛,等一种支持多任务高效处理的遥感 本文模型并行生产一个显热产品时间大约为,随 产品生产线架构研究计算机科学,() 着测试产品个数增加,平均加速比为,结果表明本 李宏益,唐娉,单小军,等多源定量遥感产品并行处理系 文模型一定程度提髙了生产效率。如果能将本文模型 统设计及实现计算机应用研究, 赵利民,倪琳娜,刘勇,等遥感载荷通用数据处理平台设 结合功能、任务、数据等并行结构,将会有更好的效果, 计与实现航天器工程,() 这也是进一步研究该模型适用的一个方向 常生鹏.马亿旿,蔡立军,等一种基于 的高分辨率 遥感图像处理方法计算机工程与应川, 结语 本文的驱动的遥感产品生产并发数据流模型 定程度上提高了遥感产品生产的执行效率,并满足了 生产过程中的可视化信息需求。该模型提供的以流程 文件产生相应算法文件机制很好地解决了 并行化过程中算法前后依赖关系,使得并行化更加灵活 简洁,增加了整个系统的并发性,以原子算法为结合点, 分别考虑流程与算法的并行数据流构建,在一定程度上 可提高遥感产品生产的效率。同时文件也能为生 产系统可视化需求提供即时信息,更加直观地展现生 过程屮调用的算法,以及算法和数据间关系。 王俊岭基于集群间两级并行的海量遥感数据调度模型 虽然模型解决∫生产节点的执行时间同步问题,但 设计与实现河南开封:河南大学 是在考虑不同产品生产过程中,同源数据算法并发读写 周兵,李家国,吴贯锋,等面向遥感产品生产的可视化数 存在两个生产节点调用同一数据的并发控制问题,当然 据流模型河南大学学报(自然科学版),() 每个处理算法本身在这个问题上有一定的调控,这也是 王瑞柒汪乐宇事件触发并发数据流模型软件学报 下一步完善模型的需求。同时,针对遥感产品的多源 化、海量化,卫星的遥感算法的多样化,而本模型在驱动 于俊清,张维维,陈文斌,等面向多核集群的数据流程序 生产过程中起到组织文件信息与驱动算法执行程 层次流水线并行优化方法计算机学报,() 序生产的作用,故数据源对本文模型基本不产生影响, 当存在同一生产流程对应海量数据处理问题时,可将此 驱动模式扩展到集群,每个集群节点处理相同的牛产流 () 程。针对遥感产品生产流程的多样化,同一级别的大多 数遥感产品生产都其有部分相同的流程,根据流程的生 赵书良应用研究计算机科学,()

...展开详情
试读 5P 论文研究-一种XML驱动的遥感产品生产并发数据流模型.pdf
立即下载 低至0.43元/次 身份认证VIP会员低至7折
一个资源只可评论一次,评论内容不能少于5个字
您会向同学/朋友/同事推荐我们的CSDN下载吗?
谢谢参与!您的真实评价是我们改进的动力~
关注 私信
上传资源赚钱or赚积分
最新推荐
论文研究-一种XML驱动的遥感产品生产并发数据流模型.pdf 9积分/C币 立即下载
1/5
论文研究-一种XML驱动的遥感产品生产并发数据流模型.pdf第1页

试读结束, 可继续读1页

9积分/C币 立即下载 >