论文研究-基于LVS的WebGIS集群系统的体系结构设计 .pdf

所需积分/C币:6 2019-08-24 17:03:57 331KB .PDF

基于LVS的WebGIS集群系统的体系结构设计,商宏杰,马义忠,本文以WebGIS集群为研究对象,对采用LVS(Linux Virtual Server)和动态负载均衡算法的WebGIS集群进行了深入细致的分析与讨论。提出了在Linux��
中国科技论又在统 http://www.paper.edu.cn 23动态负载均衡算法 动态负载均衡算法考虑服务器的实时负载和响应情况,不断调整服务器问处理请求的比 例,来避免有些服务器超载时依然收到大量请求,从而提高整个系统的吞吐率。图2显示了 该算法的工作环境,在负载调度器上运行 Monitor daemon进程, Monitor daemon来监视和 收集各个服务器的负载信息 Load bal Monitor daemon User spac Weight counter Kernel IPVS erver 1 图2动态负载均衡算法示意图 通过动态负载均衡机制米控制新连接的分配,从而控制各个服务器的负载。例如,在 IPVS调度器的内核中使用加权轮叫调度( Weighted Round- Robin Scheduling)算法来调度新 的请求连接;在负载调度器的用户空间中运行 Monitor daemon。 Monitor daemon定时地监 视和收集各个服务器的负载信息,棖据多个负载信息算出一个综合负载值。 Monitor daemon 将各个服务器的综合负载值和当前权值算出一组新的权值。当综合负载值表示服务器比较忙 时,新算出的权值会比其当前权值要小,这样新分配到该服务器的请求数就会少一些。当综 合负载值表小服务器处于低利用率时,新算出的权值会比其当前权值要大,来增加新分配到 该服务器的请求数。若新杖值和当前权值的差值大于设定的阀值, Monitor daemon将该服 务器的权值设置到内核中的IPVS调度中。过了一定的时间问隔, Monitor daemon再查询各 个服务器的情况,并相应调整服务器的权值:这样周期性地进行 3. WebGis集群系统的体系结构 如图3,第一层是负载调度器,釆用P负载均衡技术中的 Direct routing,这样可以使 得整个系统有较高的昋吐率;第二层是 WebGIS服务器池;第三层是共享存储,它可以是 数据库、网络文件系统和分布式文件系统的混合。集群中各结点是通过高速网络相连接的。 为防止负载均衡器失效造成整个集群的瘫痪,系统引入了备份LB,备份LB实时监控 中国科技论又在统 http://www.paper.edu.cn 主LB的运行状态,并根据检测得到的状态做出响应:报警、接管、恢复。系统采用 heartbeat+rake软件包实现HA, heartbeat在主/备份LB之间通过安装在串行口的串行线使 用UD协议转送心跳信息来检测相互间的工作状态,Fake软件使用ARP欺骟方法来实现 I接管,当主LB出现故障时,备份LB自动接管主LB工作,当主LB赦嫜排除后,备份 LB恢复其身份。mon软件包安装在LB上,它负责检测整个 WebGIS集群的服务器节点 mon进程每m秒检测一下服务器节点池中所有节点的相应服务进程,当服务节点或服务进 程失效时,mon进程将自动将该服务器刿出,当该服务器节点恢复后,又自动将其加入。 LVS集群米用动态负载均衡技术,调度器只有很好的吞吐率,将请求均衡地转移到不 同的服务器上执行,且调度器自动屏蔽掉服务器的故障,从而将一组服务器构成一个高性能 的、高可用的虚拟服务器。整个服务器集群的结构对客户是透明的,而且无需修改各户端和 服务器端的程序。 调度器是服务器集群系统的唯一入口点( Single Entry Point),它采用IP负载均衡技术 在P负载均衡技术中,要求服务器池拥有相同的内容,提供相同的服务。当客户请求到达 时,调度器只根据服务器负载情况和设定的调度算法从服务器池中选岀一个服务器,将该请 求转发到选出的服务器,并记录这个调度;当这个请求的其他报文到达,也会被转发到前面 选出的服务器。因为所有的操作都是在Linuⅸx操作系统核心空间中将完成的,它的调度开销 很小,因此具有很高的吞吐率。 Respose User 备份LB R Server Network File system Webgi Internet/Intranet : Load Balancer 图3 WebGIS服务器集群模型 服务器池的结点数目是可变的。当整个系统收到的负载超过目前所有结点的处理能力 时,可以在服务器池屮增加服务器来满足不断增长的请求负载。对大多数网络服务来说,请 求间不存在很强的相关性,请求可以在不同的结点上并行执行,所以整个系统的性能基本上 4 中国科技论又在统 http://www.paper.edu.cn 可以随着服务器池的结点数目增加而线性增长。 共享存储通常是数据库、网络文件系统或者分布式文件系统。服务器结点需要动态更新 的数据一般存储在数据库系统屮,同时数据库会保证并发访问时数据的一致性。静态的数据 可以存储在网络文件系统(如 NFS/ CIFS)屮,但网络文件系统的伸缩能力有限,一般来说, NFS(IFS服务器只能支持3~6个繁忙的服务器结点。对于规模较大的集群系统,可以考虑 用分布式文件系统,如AFS、GFS、Coda和 Intermezzo等。分布式文件系统可为各服务器 提供共享的存储区,它们访问分布式文件系统就像访问本地文件系统一样,同时分布式文件 系统可提供良好的伸缩性和可用性。此外,当不同服务器上的应用程序冋时读写访问分布式 文件系统上同—资源时,应用程序的访问冲突需要消解才能使得資源处」一致状态。这需要 个分布式锁管理器( Distributed Lock manager),它可能是分布式文件系统内部提供的, 也可能是外部的。开发者在写应用程序时,可以使用分布式锁管理器来保证应用程序在不同 结点上并发访问的一致性 负载调度器、服务器池和共享存储系统通过高速网终相连接,如100Mbps交换网络、 Gigabit网络等。使用高速的网络,主要为避免当系统规模扩人时互联网络成为整个系统的 瓶颈。 4. WebGis集群服务器部分实现 基于26.3内核 linux的IPVS安装配置过程如下: (1)安装padm-1.24tar:gz。只有LVS负载均衡器需要安装此软件包。 #tar xvzf ipvsadm-1 24 tar. gz #cd ipvsadm- 1. 24 #make #make install (2)利用# ipvsadm-help进行测试 (3)对LVS负载均衡器进行设置(在此假设LB的IP为202.201.13.128, Realserver 的IP为202201.12243、202.201.13.122等,ⅤIP为202201.13.254) # ifconfig eth0:0202.201.13.254 netmask255.255.255.255 broadcast202.201.13.254 #echo 1 >/proc/sys/net/ipv4/ip forward #echo 1>/proc/sys/ net/ipv4/conf/all/hidden #make install #ipvsadm-C ipvsadm-A-t202.201.13.254:80-swlc # ipvsadm-a-t202.201.13.254:80-202.201.13.243-g # ipvsadm-a-t20)2.201.13.253:80-r202.201.13.122 (4)对 real server进行设置(其IP:202.201.13.243) # ifconfig lo:0202.201.13.254 netmask255.255.255.255 broadcast202.201.13.254up #route add -host 202.201.13 254 dev lo: 0 对其余的 real server做同样的设置 在浏览器中输入htp:02.201.13.254,并不断刷浙浏览器,如果出现“ Real server one Works!和“ Real server Two Works!”(自己定义),则说明配置成功。 中国科技论又在统 http://www.paper.edu.cn 5.结束语 WebGIs系统的设计及开发将地理信息理论、计算机理论有机地结合为个整体,实现 了分布异构数据的共享,多种检索方式,并将结果以地图或统计表等方式直观的表达出米 系统采用了开源的 WebGIs技术、空间数据库技术、IVS技术等,在 Linux集群平台上,可 将地理信息快速、可靠、全面的发布出来。系统在N层概念理论基础上,综合考虑各科因 素,提出了 WebGIs系统的多层结构。整个系统可分为数据有储层、 WebGIS层、负载均衡 层。由于采用了Linuⅸx集群的HA技术,当某个 WebGIs服务器出现故障时,并不影响整个 系统的对外服务。同时, Load balancer(LB)也有后备服务器,当主LB出现故障时,后备 LB将代替主LB提供服务。 总之, WebGIs集群系统的体系结构还很不成熟,随着空间数据和应用需求的不断增加, 不论是在硬件还是软件方面都会遇到新的挑战。相信随着研究的深入和应用需求的不断增 加,系统的体系结构和性能均会得到不断的提髙 参考文献 [!]宋现峰,刘车志,吴建国开源代码技术的 FLASH地图实现方法——以 Mapserver+Ming为例地球信息 科学,206(4):101-105 2]张锦祥,石杭飙基于LVS集群服务器的设计与实现[浙江教育学报,2005(5)60-64 [3]李英壮,李先毅,王利明基于 Linux的集群管理系统设计与实现[大连理工大学学报,2003(:1:168-170 [4]吴家祺WEB服务器集群系统的设计与实现[D]8-10 Design the Architecture of WebGis Cluster System based on LVS Shang Hong-Jie, Ma Yi-Zhong, Gao Yan School of Information Science Engineering, Lanzhou University, Lanzhou(730000) Abstract This paper take the WebGis cluster as a study, and make a deep research on Lvs(Linux Virtual Server) and dynamic load balancing algorithm on Web GIS cluster. Then we design the architecture of WebGIS system on Linux cluster, using LVS, dynamic load balancing algorithm and Map Server. B the realization, we prove that the Web GIS service can be achieved using Lvs, dynamic load balancing algorithm and Mapserver Keywords: WebGIS; LVS; Dynamic Load Balancing Algorithm; MapServer 作者简介 商宏杰、1980、男、倾士研究生,主研方向:讣算机刈终与分布式系统;马义忠,副教授/ 硕上研究生导师;高彦,硕上研究生

...展开详情
img
  • 至尊王者

    成功上传501个资源即可获取

关注 私信 TA的资源

上传资源赚积分,得勋章
最新资源