论文研究-一种面向分布式资源的工作流系统--Pegasus .pdf

所需积分/C币:6 2019-08-15 12:51:51 996KB .PDF

一种面向分布式资源的工作流系统--Pegasus,余陶然,,Pegasus是由美国南加州大学网格技术中心开发出的一个开源的工作流映射引擎,它的主要功能是将复杂抽象的科学工作流映射到分布式资��
中国酗技记又在线 通常 和 以及 起构成的 虚拟薮据系统,该系统 已经成功的执行了很多由数量众多的短期小工作组成的大型工作流,和由少数几个长期的大 工作组成的工作流。图描述了工作流的产生、映射和执行过程。用户通过语言自定 义数据 建立相应的抽象工作流表示 将该抽象工作流映射成可执行的工 作流,然后由 来具体执行这些工作流。 RLS TC MDS VDL 抽象工作流 具体工作流 工作 Chimera Pegasus DAGMan 图典型的工作流管理系统 目录结构 中主要使用三个目永,用于发现数据的地理位置、执行任务的主机、可用的资 源和它们的特性。本小节将逐一介绍这三个目录 备份日录) 备份目录用于动态的收集工作流运行所需数据的地理位置信息。输入数据是在工作流执 行前就必须具备的数据源,已经存在的中间数据的目录信息能够帮助数据重复利用并且在一 定程度上化简了工作流。备份目录存储了从逻辑文件到物理文件的映射,比如物理文件的所 在站点。我们借助 的 )来实现备份目录。是由包 含逻辑文件名到物理文件名映射信息以及概括本地目录内容的分布式索引信息的本地目录 组成分有式备份管理系统。 () 该目录用于收集网格中 在什么地方安装的相关信息 是 和工仵流实例中的任务相对应的可执行程序。和备份目录类似,目录存储从逻辑文件到 物理文件的映射 除了安装的可执行文件信息,该目录也存储静态链接的可执行程序的位置信息作为物理 映射的一部分。该静态链接可以被导入到远端主机,作为工作流的一部分。该目录同时也存 储可执行程序的诸如运行的操作系统、使用什么编译器、需要多少內存等相关属性。默认的 目录的实现是一个遵从预先定义的规则的数据库。 该目录用于收集关」远端站点的位置信息。它同时存储静态和动态信息。静态信息包括 卜信息: 的服务器端,可以将数据从站点上导入和导出。 用于提交任务给网格站点上的本地调度器 ●数据可以导入并作为运行工作流的一部分的临时目录 ●最终的数据可以导出的存储目录 动态信息包括如下信息 ●可利用的处理器数日 国武技记文在线 可利用的内存大小 可利用的磁盘空间大小 可用 提供的数据和用户或站点管理 员提供的附加信息构成,或者由特定的目录(像是 )构成 实际运行环境 实际的运行环境中包含的主机可能有单处理器的普通主机、多处理器的集群系统和高性 能的并行系统,这些只有各异性的主机由网终连接成一个整体。 异资 GridFTP服务器 LRE 任务提交主机 存储单元 Ets (Submit host 头节点 GRAM Globus提供的 计算节点 RLS服务 剂查2 Globus提供的 MDS服务 头节点 头节点 图工作流的典型运行环境 图措述了一个典型的运行环境。每个资源都包括一个对网终可见的头节点。为了能够 远程调度任务,资源必须提供一些相关的服务和存储单元,在该环境中,使用的是 提供的一些服务: ●远程任务的提交和管理(由 中 来负责) 远程数据导入和导出(由 来实现) 资源的状态信息(由 米负责),提供可 用资源的数量和类型,以及资源的静态特性如数目和动态特性(如当前空 闲內存大小) ●资源上的可用数据信息(通过 的 来提供),是由包含逻辑文件名到物理文件名映射信息以及概括本地口 录内容的分布式索引信息的本地日录组成分布式备份管理系统 为了在这样的环境中运行 ,必须有一个资涼端安装并提供 和 软件。后两个软件提供了L作沇运行引擎和在各种基于 的资源上远程 提交仼务的能力。我们称这个资源端为仼务提交主机。该主机还得维护在网格资源上安装的 应用软件的相关信息(保存在目录中),以及用户关于运行环境的某些要求(保存在 中国酗技记又在线 目录中)。任务提交主机也可以作为些小工作流的本地运行平台。 工作流程 是一个将工作流实例通过一系列的转化最终变为可执行工作流的软件。工作流 实例(如图)由一些用逻辑转化、逻辑输入和输出文件名描述的任务组成的,与资源无关。 的日的就是在任务和可利用资源之间找到一个最佳的映射 MDS 向利用 RLS 资源)6的 MDS 用的 配置 据 配置 RLS 寻找可用 的资源 化工作流 选择站点 工作流 个别集群 的任务 加传输节点 生成提交文件 c 备份 选择器 的工作流程 ●定义可利用的并且有使用权限的资源集合 将查阅日录找到当前可利用的 资源,同时试着通过这些资源的验证以确定是否只有疋够的权限使用这些资源。 工作流化简 将查阅日录确定有哪些可利用的中间数据,并以此为依据对工 作沇进行化简。最极端的情况是,最终所需的数据已经存在,则除了将数据传输到用广 指定的地点外不需要再执行其它任务了。以图中的工作流实例为例,如果在目录 查到文件和已经存在并可用,则将工作流化简为只剩下任务。工作流化简 是基于直接获取已有数据比重新计算这些数据更为高效的假设之上的此时就任务数量 来说,抽象工作流已经是最简了。 ●站点选择得到最简抽象工作流后,下一步工作是进行站点选择。该选择参考可利用资 源的情况和所需的输入数据的地理位置等因素。站点选择的算法可以由用户来设定,然 后作为 的一个插件来运行。目前 提供的选择算法有:随机算法、循坏 )算法、基于组的调度算法和 调度算法。这些调度算法将利用 目录中的资溟相关信息、目录中应用软件的位置信息和目录中备份数据的位置 信息,以及 插件中其他信息服务提供的信息。 任务集群 提供将一些使用相冋计算资源的小任务合)在一块的功能 可执行文件的导入当远端网格站点上缺少某个可执行文什或是该站点上的可执行文 件已纾过期时, 可以提供将可执行文件导入到该站点的服务。目前还只能导入 静态链接的可执行文件,并且该可执行文件作为输入文件来处理。 ●添加数据导入导出和注册任务继续图的例子,当工作流化简为只剩卜仨务时, 得出的可执行工作流描述如图所示,包括个导入任务:其中个是将输入文件导入 到站点 所选择的,个是将可执行文件导入到站点。之后将在站点 上运行任务,并将生成的输出文件导出到用户指定的站点,并在中注册 中国酗技记又在线 需要指出的是图中可执行工作流只是个计划,需要由实际的工作流运行引擎来 执行。 ●提父生成的文件此时的工作流包括计算、数据传输和注册,并且已经具有和实际执行 环境相对应的结构。最后我们需要将该工作流写成能被实际的工作流执行引擎(如 )识别的文件。该文什将被递交给 和 去执行, 根据工作流之间的联系将任务提交给 由 将任务指派给目标资源运 将文件 F3传输 到站点R 将可执 在站点R 将最终文 在 Replica 行文件 处运行 件巧传输 Catalo T4传输 到用户指 中注册 到站点R 定站点U 文件 将文件 F传输 到站点R 图对应化简后的扣象工作流(图例子)的可执行工作流 总结 随着对网格研究的不新深入,网格工作流已经成为该领域的一个重要的研究方向。 作为出色的网格工作流引擎,已经广泛的应用于天文、高能物理、生物医学等各个 领域 但是山于网格的动态性、分布性、异构性以及自治性的特点,和人们对网格应 用的要求越来越高, 还有很多方面亟待改进。例如它的建模过程缺乏动态性的考虑, 不能根据工作流的运行情况实时地进行调整,一定程度上造成网格资源的浪费;另一方面它 采用尽力而为的调度策略,没有很好的支持用户的保证,同时资源发现功能也不是很 完善。所以考虑如何引入优化的调度算法,以及将 扩展成基」策略的自适应工作流 引擎具有十分重要的意义,需要我们进步的探索和研究 国武技记文在线 参考文献

...展开详情
img

关注 私信 TA的资源

上传资源赚积分,得勋章
相关内容推荐