论文研究-科学数据网格研究进展.pdf

所需积分/C币:5 2019-07-22 22:15:07 843KB .PDF
收藏 收藏
举报

系统介绍了科学数据网格(SDG)项目“十一五”以来的一些研究进展,重点阐述了SDG数据传输技术的改进以及SDG数据访问中间件(DAS)向IPv6迁移的关键技术的分析和实现,介绍了针对SDG“两步查询”数据查询模式的局限性而提出的集成移动agent的新查询模式,并对其作了简要分析,最后对SDG系统的进展进行总结并指出了下一步的工作方向。
第10期 张西广,等:科学数据网格研究进展 3603 e)操作系统与Ⅲ6。mP6协议正式产品版在 Windows为网格服务的运行坏境。 2003 Server系列、 Windows XP(SP1)及以上版本的系统中已经 部署,但必须先安装IP6协议才能提供对mP√6协议的支持。 3集成移动 agent的查询方案 f)其他。除JDK外,DAS中用到的其他API类库若涉及3.1SDG“两步查询”模式的分析 到P地址调用,也须使用支持I6的版本。 sDG中间件中,信息元数据服务系统(IMS)为用户提供信 2.2DASv6的实现 息服务;DAS为分布、自治、异构的数据资源以网格服务的形 由于IP4网络长期存在且科学数据库建库单位在相当长式提供统一的访问接口 的时间内不会立即更新采用支持IP6的数据库,DASV6系统 目前SDG通过 SDGFinder(IMS客户端)与 Data view(DAS 需要部署在具有1P4P6双协议栈的服务器节点上来提供客户端)的结合为用户提供从发现数据到获取数据的两步查 服务,使它能够支持m14或m6客户端的访间,可以与I4询”模式。用户首先通过在 SdgFinder中输入关键词来发现数 或6FTP服务器通信,也可以部署在仅有m14协议的服务据资源,命中的资源按相关性大小列出,用户可以看到数据资 器节点上,此时不提供对mP6访问的支持。 源的描述、网格服务标志URI及WWW服务地址等信息,这是 在实现过程中,主要进行的工作如下: 第一步。如果用户想取得所需数据则执行第二步,第二步有两 n)根据Java应用程序向支持I6应用程序移植的原则,种方法可用:a)调用数据资源的 Data view客户端,输入SQL查 付DAS系统相应部分的程序分別进行了改动,并重新编译 询语句直接获得数据:b)通过自己编写的DAs网格服务客户 (a) DAS Server f项目。把数据传输模块程序中用到的端来获取数据。 FTP客户端API类库由原来的不支持Iv6的 Jakarta Common 两步查询”数据共亨模式存在以下几点局限性:a)用户 Nt替换为支持I4/TP6的su.nt,fp,*;数据库驱动由于需要与系统进行两次交互才能获得数据,对用户来说是比较麻 烦的,易用性不够,没有很好地体现网格技术的优势;b)用户 受目前DBC对IP6支持的限制并没有对其进行相应的更新;每次查询只能获取一个数据库的数据;c)更侧重于高端用户, 其他Java代码中符合支持IP6的Java应用程序规则 (b) Mapping Builder子项目。由于受数据库和JDC驱动普及性和实用性硝有欠缺。这些局限性限制了SDG成果的推 对P6支持的限制,并没有进行JDBC驱动更新,其他Ja代 广应用,需要对目前的SDG查询模式述行改进。 码符合支持ⅣP6的Jaa应用程序规则 3.2移动 a gent与网格技术 (c) Data view端的改动主要在P地址的配置变化上,通过 网格和移动代理技术都是新一代的分布式计算技术。网 在客户端配置文件 system. properties中进行配置来解决。具体格强调资源的汇聚和计算能力的增强,而移动代理主要侧重减 可根据Gl4中配置Ⅳ6选项的不同,在配置文件中指定网格少刚络通信流量和科序的主动运行,网格技术和移动代理相结 服务绑定到主机名(域名)或P6地址来解决。Dew工具合的优势将是强大的。 包中的Jaa代码符合支持IP6的Java应用程序规则。 以OCSA为网格体系结构的网格技术中,服务提供者只能 b)对服务器端的 server-onig.wsd和 client- server-config.提供静态的网格服务,这些服务被固定地安装在网格节点的机 wsd两个文件进行配置来达到使G14支持I6的目的。有器上提供服务,没有移动能力。这意味着即使网格中有大量闲 二种不同的配置方法 置资源的节点存在,网格服务也不能从它部署的节点移动到这 (a)树格服务独立于服务器P地址。在两个配皆文件些节点。静态网格服务有许多不足之处,如持续的迕接、节点 glohalConfiguration)项的顶端加入( parameter name=" publish-服务请求过载等问题。 Hostname" value="true"/)选项。此时Web容器用默认的主 若把移动 agent集成到网格服务中,则可以充分利用网格 机名 localhost初始化,网格服务绑定到 localhost,wcb容器和网技术和移动 agent技术的优势,为网格技术和OCSA体系结构 格服务都独立于P地址。主机名 localhost可以绑定到P4地的发展趋势提供一个可参考的选择。它是为了改进网格服务 址和6地址,服务器根据客户端的类型与客户端通信。而对CsA标准的网格服务的一种扩展,可以把该类网格服务 (b)网格服务绑定到P6地址。在两个文件(suCm看做是一种具有状态和移动能力的Wb服务 figuration)项的顶端加入〈 parameter name=" localhost" 具有移动能力的网格服务的优势在于:a)网格服务有了 le-"DAS服务器I6池址”/选项,此时W容器用对应移动性的支持,网格服务中实际执行用户任务的实休可以在网 的IP6地址初始化,网格服务绑定到指定的I6地址。 格中移动,提高了网格服务的实用性和网格资源的利用率;b) (c)网格服务绑定到主机名(主机名绑定P6地址)。在在网格中有空闲节点资源的情况下,可以有效地解决节点的过 两个文件〈 global Configuration}项的顶端加入〈 parameter name 载问题,不用担心同时刻有大量的服务请求;c)当网格服务 " Publish HosI Namie:"vdme="lre"/〉选项和〈 barreler llaIne 需要访问其他网格节点的数据时,具有移动能力的网格服务可 logicalHost"raue="DAS服务器P6地址或P6主机名”/以移动到存储数据的格节点上执行,刚格节点间不需要持续 选项。此时wc容器用对应IP6地址的主机名初始化,网格的连接。 服务绑定到对应IP6地址的主机名。 3.3集成移动 agent的查询模型 SDGDSM DAS6系统的运行环境说明:若在卫4坏境下运行,则仍 本文提出一个集成移动 ager的SDG数据查询共享模型 和原来DAS系统一样,不需要进行任何额外的配置。若在 SDGDSM,其体系结构如图2所示。 SDGDSM基于 IMA-DAS,它 IPv6环境下提供服务,服务器节点需要安装P6/P4双栈协是在DAS基础上开发的,它将移动 agent集成到DAS服务实现 议,安装JDK1.5及以上的版本,安装 Tomcat5及以上版本作中从而形成具有移动能力的数据访问服务。(下转第3624页) 3624 计算机应用研究 第26卷 ACM Press,2003:314-329 and Networking Conference. 2002: 156-170 [6] SRIPANIDKULCHAI K,MAGG;SB,ZHA、GHui. Efficient content lo-[15]梁达明.P2P网络定位模型研究[D].杭州:浙江大学,2006. cation using interest- based locality in P2 P systems[ C]// oc of the[16]彭俊杰,卢正鼎,李瑞轩.一和改进的非结构化P网络搜索方法 22 nd Annual Joint Conference of the IEEE Computer and communica- [J].微电子学与计算机,2006,23(9):1619 tions Societies. 2003. 20 [17]范刚龙,基于分类检索的自聚簇P2P系统[J].武汉理L大学学 7]谭义红,陈治平,林亚平.基于兴趣挖掘的非结构化P2P搜索机制 报,2006,28(7):105-108 研究与实现[J].计算机应用,206,26(5):1164-1166 [18 KARGER D, LEHMAN E, LEIGHION T, e! al. Cuntsislent hashing and [8]王芳,对等网有效资源搜索技木及其应用研究[D].济南:山东 random trees: distributed caching protocols for relieving hot spots on 师范大学,2006 the World Wide Web[ C]//Proe of the 29 th Annual ACM Symposium [9 RATNASAMY S, HANDLEY M, KARP R, et al. Topologically-aware on Theary of Computing. New York: ACM Press, 1997: 654-663 overlay construction and server selection Cl//Proc of the 21 st Annu- [19 DABER F, KAASHOEKM F, KARGER D, et al. Wide-area coopera- al Joint Conference on Computer and Communications Societies. 2002 tive stomge with CFS[C]//Proc of the 18 th ACM Symposium on 1-9 ' perating Systems Principles. New York: ACM Press, 2001: 202-215 [10 REN Shun-si, GUO Lei, JIANG Song, et aL. SAT-match: a self-adap- [20 KARTHIK A R, RAO A, LAKSHMNARAYANAN K, et aL. Load Live Topology Ill althing Ine thud Lo achieve low lookup latency in struc:- balancing in structured P2P syslems[ C 1//Proe of the: 2nd Inlerlla tured P2P overlay netwarks[ C]//Proc of the 18 th International Sym tional Workshop on P2 P Systems. 2003: 68-79 posium on Parallel and Distributed Processing. 2004: 26-30 [21 GODFREYB, LAKSHMNARAYANAN K, SURANA S, et al. Load [11 ZHU Dan. XU Xiang-yang, LIANG Yan, et al. Research on overlay balancing in dynamic structured P2P systems[ C]//Prac of the 23rd network topology-matching J. Microcomputer Applications, 2008 Annual Joint Conference on Computer and Communic ations Societies 29(6):18-20. 004:46-50 12] ZHANG Xiao-ming. Research of data location and data re plication in [22] ZHU Ying-wu, HU Yi-ming. Efficient proximity-aware load balancing hierarchical P2P systems[ D. Changsha: National Lniversity of De- for DHT-based P2 P systems[ J.IEEE Trans on Parallel and Dis fense Technology. 2006 tributed Systems, 2005. 16(4): 349-361 [ 13] QIU Tong-qin, CHEN Gui-hai. A generic approach to making P2P [23] BYERS J, CONSDNE J, MIIZENMACHER M. Simple load balan overlay network topology-aware[ J]. Journal of Software, 2007, 29 cing for distributed hash tables[C]//Proc of the 2nd International (6):383-384 Workshop on P2P Systems. 2003: 80 「14] SAROIL S, GUMMADIP K, GRBBLE S. A measurement study of「24]李丽娟,孙建华,陈浩,等.结构化P2P系统中基于网络定位的负 peer-to-peer file sharing sy stem[ C]//Proe of Multimedia Computing 载均衡算法[J].计算机应用研究,2008,25(8):2524-2527 (上接第3603页)数据资源为中国科学院的SDB资源,数据资源 统一使用IMA-DAS网格服务封装。 4结束语 性能和实用性是SDG实用化和成功与否的关键。“十 用户界面层 匚客尸端 五”以来,根据用户的新需求和项目发展的需要,SDG进行了 系统逻辑层匚请求解析下 结果集成 若干改进和思考。本文主要对SDG中间件数据传输功能的改 多服务发现 任务分派 进和开发支持116的SDG中间件两个方面进行了述,而对 查询任务门 [查询任务2 查询任务N SG其他的一些改动,如无状态、轻量级的DAS服务实现、将 移动aen 移动 agent2 移动 agent n DAS移植到AXS上以实现与GOS系统的集成等并没有介绍 集成移动 agent的SG数据査询模式是补允和完善SDG査询模 基本服务层 IMA-DAS IMA-DAS 2 IMA-DAS 式的一种前瞻性设计,目前正在进行相关的设计和进一步的思 数据资源层 考,是下一步SDG项目完善的个重要工作方向。 数据片 数据阵 数据车 参考文献 图2 SDGDSM体系结构 [1 JIANG Sheng How-to IPv6 in globus toolkit 4 EB/OL1.(2005-01 SGsM的工作流程简要地描述为:系统引擎接收用户基 31).http://www.cs.uclac.uk/staff/sjiang/webpage/how.to- 于关键词的査询请求,调用解析模块对请求进行解析;然后调 IPy6-in-GT4 ht 用基于关键词的服务发现模块发现满足用户请求的所有IMA [2] Sun Microsystems. Networking IPv6 user guide for JDK/JRE5O[EB/ DAS服务;接着控制引擎刈用户查询的任务进行分派,生成针 OL].(2004-10-10) htlp: //Java. sun CUll/Javase/6/dou:s/lechI otes/guides/net/Ipv6_guide 对不同 IMA-DAS服务的用户请求任务(任务的数量取决于发 [3]南凯,阎保平.中国科学院“十五”信息化建没项目——科学数据 现的服务个数),利用移动 agent携带任务直接移动到IA- 库及其应用系统项目系统平台设计方案[R].北京:中国和学院 DAS服务节点,aent把任务交给服务节点并在服务节点等待 计算机网络信息中心,2001 查询结果; IMA-DAS执行数据查询并把查询结果交给 agent,由4杨德,向凯,间保平,基于属格服务的数据发布统J,计算观 agent携带査询结果返回到系统中的结果集成模坎;结果集成 工程,2006,32(13):97-99 I5 WONG SW, NG K W. A middlew are framework for secure mobile grid 模块对多个査询结果进行一定的集成处理后返回给系统引擎; services[ C]// Proc of the 6 th IEEE International Symposium on Clus 系统控制引擎最后将最终旳欻据查询结果返回给提交查询凊 Ler Compuling and the Grid. [S..]: IEEE Cumputer Sociely, 2006 求的用户。

...展开详情
试读 4P 论文研究-科学数据网格研究进展.pdf
立即下载 低至0.43元/次 身份认证VIP会员低至7折
    抢沙发
    一个资源只可评论一次,评论内容不能少于5个字
    img

    关注 私信 TA的资源

    上传资源赚积分,得勋章
    最新推荐
    论文研究-科学数据网格研究进展.pdf 5积分/C币 立即下载
    1/4
    论文研究-科学数据网格研究进展.pdf第1页
    论文研究-科学数据网格研究进展.pdf第2页

    试读已结束,剩余2页未读...

    5积分/C币 立即下载 >