论文研究-基于反馈机制的云计算资源分配模型 .pdf

所需积分/C币:24 2019-08-16 13:15:45 419KB .PDF
收藏 收藏
举报

基于反馈机制的云计算资源分配模型,井博,邱雪松,资源分配技术在云计算中具有十分重要的作用,完善的模型架构可以使系统有效分配资源并提高系统利用率。传统模型多采用单向资源调
山国科技论文在线 http:/www.paper.edu.cn 体表现在减少软件虚拟机相关川销和支持更广泛的操作系统方面。目前凵有网络虚拟化、微 处理器虚拟化、文件虛拟化和存储虚拟化等技术。虚拟化的主要目的是对I基础设施进行 85简化,它可以简化对资源以及对资源管理的访问。I基础设施的总体管理也可以得到简化, 因为虛拟化降低了消费者与资源之间的耦合程度。因此,消費者并不依赖于资源的特定实现。 利用这种松耦合关系,管理员可以在保证管理工作对消費者产生最少影响的基础上实现对 IT基础设施的管理。管理操作可以于工完成,也可以半自动地完成,或者通过服务级协定 (SLA)驱动来自动完成。 云计算虚拟化技术是一套解决方案。完整的情况需要CPU、主板芯片组、BIOS和软件 的支持,例如wMM软件或者某些操作系统本身。软件“客户”操作系统很多情况下是通过虚 拟机监视器( Virtual machine monitor,MM)来与硬件进行通信,由ⅥMM来决定其对系 统上所有虚拟机的访问。在纯软件虚拟化解决方案中,VMM在软件套件中的位置是传统意 义上操作系统所处的位置,而操作系统的位置是传统意义上应用程序所处的位置 95KVM( for Kernel-based Virtual machine)是一套基于 Linux86架构的硬件虚拟化解决方案,包 含了硬件虚拟化扩展( Intel Vt或AMDV)。作为开源软件,KM包含了了一个可加载 内核模块 kvm. ko,用来提供虚拟化核心架构;一个独立处理器模块,kvm- intelko或 kwm- amd. kol2。通过KVM,单个Lin或 Windows镜像可以运行非模态化的虚拟机,且所 有的虚拟机均包含独立硬件系统 100 在系统架构上,许多开源和商用许可的系统架枃也有肴广泛的运营,例如 Amazon的 EC213, Google的 AppEngine4系统和 Eucalyptus15。木文中,我们使用 Eucalyptus作为架 构来挎建虚拟云平台。 Eucalyptus( Elastic Utility Computing Architecture for Linking your P' rograms to Useful Systems)是个丌源的软件架构,通过评估集群性能来实现灵活的可配置 云计算系统。 ucalyptus包含五个组件,分别是应用控制器(CLC),集群控制器(CC), 105节电控制器(NC),监视器(W),存储控制器(SC)。使用SOAP消息来完成组件间通 信,并通过云服务结构传递信息流。 22系统架构描述 传统的厶计算控制系统中,通常只设定一个全局调度器,用来对虚拟池中的资源和负载 进行监控和管理。然而,在大规模服务器集群中,用户的需求通常差异较大,且这些需求要 110共享某些虚拟资源和服务。这意味着,管理器要随时处理用户需求变化,同时在调度上作出 最优安排,而单向调度器显然无法满足海量数据的调度要求。伴随着负载的忺速变化,资源 池屮的虚拟資源需要快速响应,并在调度器的控制下做出合理调整。而随着用户对QoS要 求的逐渐提高,这和调整通常意味着短时间内的迅速调整,这对调度器和整个系统的消耗及 反应速度都提出了巨大的挑战。 115 囚此,我们设计了一个新的资源分配枃架,在该构架中,资源控制器被拆分为资源需求 控制器和资源供给控制器,分别对请求和负载进行监控,如图1。资源需求管理器将用户 提出的需求封装为负载流。在资源池中,由需求管理器进行前馈控制,去除负载中重复的服 务请求或错误十扰等等。同样,底层的硬件资源和软件资源由资源供给管理器进行统-管理 通过虚拟化技术虚拟为资源池,并抽象成为多个虚拟机,提供共享服务或数据资源 120资源需求控制器和资源供给控制器均通过策略控制,并相互联结。该策略可自动设定,例如 服从SLA,或可手动或半自动控制。虚拟资源池屮包含虚拟机调度器和多个虚拟主机,每 个虚拟机分别配有一组监视插件 Sensor:Sr和Sp,分别用来监视该虚拟机当前的资源提供 山国科技论文在线 http:/www.paper.edu.cn 情况和所承受的工作流负载情況。监视插件及吋将虚拟机信息返回给调度器,调度器将虚拟 资源池中的整体资源配置情况进行汇总和分析,再将结果传递给需求控訇器和供给控制器。 125在策略的驱动下,控制器反馈虚拟资源调度器指令,对资源池屮的每一个虚拟机进行相应调 整,形成一个闭环控制系统。 应用3 分型器 需求管理器 Sr2 Sw I Sr 虚拟机监控 虚拟机1……虚机2……虚拟机n 调度器 策略←-SLA KV LCPU【Memy匚Dik」[ etwork 供给管理器 图1系统资源分配架构 13023反馈控制模型 闭环控制是根据控制对象输岀反馈来进行校正的控制方式,它是在测量出实际与计划发 生偏差吋,按定额或标准来进行纠正的。输岀端囯馈到输入端并参与输岀端再控制,与输入 量进行统一性整合后,作为新的控制输岀出,去进一步控制输岀量。在闭环控制系统中,当输 入量发生较大变化时,系统通过反馈可以自动调节状态,进而达到纠正偏差,抵消干扰,从 135而保证得到预定输出 在云计算构架中,我们将闭环搾制系统分为前馈搾制和反馈控制。 前馈控制主要体现在需求管理器对供给管理器的分配作用,用户请求以负载流的形式形 成系统输入,需求管理器在策眳控制下,对负载流中的重复服务和错误扰动进行预先筛选 通过分配器与资源池取得联系,并发岀资源调用中请。同理,供给管理器通过对数据中心的 140资源虚拟化,将其预分配为多个虚拟机或虚拟服务,并预存在虚拟池中作为备选資源。前馈 控制的优点是反应速度快,用户可定制程度晑,可以第·时间将输入量量化。 当输入量呈现缓慢变化忖,资源池中的虚拟机调度器可以根据输入与供给,动态旳调度 资源。然后,当输入剧烈变化时,调度器在短时间内无法立即调用供给管理器,虚拟资源池 无法快速响应,所监管的虚拟机就会出现供给严重小于需求的情况,直接的结果就是用户 145Q0S下降。随着时间推移,对应虚拟机的供给才能慢慢满足要求,该调度方式会出现叨显的 滞后缺陷。 而本构架中,在每个预分配的虚拟机中均安装有插件Sw和Sr,分别用来检测负载量和 资源供给情况。当用户请求剧烈变化时,插件将差值信息发送给VMM调度器。VMM在进 行传统方式的调度外,冋时将信息反馈给需求管理器对供给管理器。在策略控制下,供给管 150理器将再次对负载进行筛选,并试图弱化振动强度ε但在大多数情况卜,这种控制效果较弱 此时,需求管理器异步将变化信息传递给供给管理器,供给管理器在接收到信息后,对资源 池中的虚拟杋重新进行优化分配,增加或减少对应的资源供给。同吋,发送反馈信号给 4 国科技论文在线 http:/www.paper.edu.cn wMM,VMM通过将反馈信号与Sr和Sw的信息进行对比分析,若当前资源池中的配置情 况已经满足或超过需求,则减少该虛拟机的资源供给,否则继续向供给管理器发送请求信息 155依此循环。采用上述閉环控制的直接效果,资源的供给滞后性缺陷得到了很好解决,在面对 负载剧烈变化时,供给情況也能相应满足要求。通常情况下,为保证SLA,分配的资源要 大于用户需求,因此,可通过设定策略,调整闭环反馈值,保证用户的需求,即负载情况能 得到有效的保证。同时,可设定反馈刷新时间,快速的刷新速率可以保证系统资源得到有效 利用,但同时也增加了模块间的通信开销和调度器的开销。 1603基于反馈机制的分配模型和验证结果 基于反馈机制的资源分配模型如图2。其具体工作流程如下: 前馈控制 分配器 需求管理器 4 0( 资源请求 M度器 反馈控制 策珞 鈐控供鈐控|供给拧 制器n () 畫家控制器 图2反馈控制模型 l65(1)W={w,w2…wn}为1κn矩阵,表示资源请求集合。 (2)R={,2,…In}为m×1矩阵,表示资源供给集合。 (3)P={,P2…ψn}表示价柊向量,通过资源请求管理器和资源供给管理器共同确定, 通过调度器进行调节。每次流程保持价格统一。 4)定义nxm的矩阵f作为全局资源配置函数,其中,表示请求w和资源供给r 170 即f可定义为集合 F={f0≤f≤1,0≤xfsl} ,1衣示系统效率最优。 (5)在理想情況下,资源供给会稍微高于资源请求,并且能够随请求的动态变化而变化。因 此,设定函数(O来定义每个虚拟机能够达到的最大分配效用。通过K,所有的分 配工作都在内部的调度器中集成。每一个资源请求的效用函数可以表示为: 6.(P)=max,eto. u, (f)-Pf'I 175(6)当请求端发生动态变化时,通过反馈机制,管理器动态调节输入端的前馈控制参数,定 义 6()=E·w2-te(P) (7)作为控制端的调整参量,τ表示调整的大小,ε表示调整间隔。因此,我们得到最终 的效用函数: O(P=Nmp匹()-P-5() 国科技论文在线 http:/www.paper.edu.cn 0(mas(e[v(f)-Pf]±ev 反馈杋制的应用主要是消除反馈延迟,并保质资源供给高于资源请求进而保证SLA。 同时,通过动态均衡,系统整体可以保持高利用率,进而降低系统消耗。通过调整参数ε, 185分配系统能够自适应的调节适应速度。更大的ε意味着更快的调整间隔和效果,但同时也会 加大调度器的功耗和组件冋通信成木 在验让实验中我们使用两台主机接入私有厶。为模拟负载的动态变化,两台接入主机 进行视频编码操作和文件读写操作,此两和操作对资源中的CPU计算能力和O读写能力 要求较髙。尽管云计算中的服务功能众多,结构复杂,但CPU计算和IO读写是常见性负 190载需求,因此可以作为代表性结果。 1 demand 08 rovision 90.6 0.2 图3未加入反馈机制的系统利用率 以10s作为采样间隔,得到负毂与供给由线图,可以看到,当负毂变化缓慢时,供给可 195以满足需求,当负载发生剧烈变化时,供给的滞后性丰常明显,这将导致供不矛盾,并降低 QoS,造戍倛给资源浪费。尽管可以通过对调度器的优化减弱滞后性缺点,但仍然无法从根 木上解决问题 在系统应用闭坏控制后,供给情况得到了明显好转,可以保证大多数情况下供大」求, 滞后性缺点已经基本消失,分别设置调整间隔为2s和0.5s,得到下列两条曲线,当间隔较 200大时,尽管可以保证SLA,但仍出现资源浪费的情况。当负载剧烈变化时,供给要明显超 出负载,造成资源浪费。问隔越小,供给和负载需求曲线愈加趋合,但这带来的是对服务器 集群资源的巨大消耗,因此应在满足SLA和服务器资源消耗上寻求平衡点。 demand 0.8 -provis ion 0.6 0.4 0.2 昌目馨国昌虽暑虽员 图4加入反馈机制的系统利用率,设定s=2 205 国科技论文在线 http:/www.paper.edu.cn demand 08 provision 90.6 0.4 0.2 图5加入反馈机制的系统利用率,设定ε=0.5s 4结论 210 传统云讣算中的资源分配问题存在诸多缺点,例如资源利用率低,滞后性明显等缺陷。 为解决上述问题,本文引入」控制理论中的闭环控制方法。利用反馈特性,当用户请求剧烈 变化时,将差值反馈到资源调度器上,并在策略控制下,完成对该需求的动态供给。系统采 用 Eucalyptus作为云计算构架,KVM作为虚拟化解决方案,利用 Linux内核高效率和低资 源需求的优点,搭建云计算平台 215 分别设置资源供给监视器和资源供给监视器,用来检测用户向虚拟机提出的资源请求和 资源池中可以像用户提供的虚拟资源。在使用VMM进行虚拟资源调度的冋时,通过虚拟机 监控器与资源请求管理器和资源供给管理之间的通信,完成反馈控制,最终优化虚拟资源池 利用率,消除供给滞后性,并有效提高系统运行效率,提高用户QoS。通过实验数据的对比 引入反馈控制后,滞后性缺陷基本得到解决,且提髙供给利用窣,有效避免资源浪费 220 当前,只研究了反馈控制对于系统整体构架上的应用。在实现上,将全部资源进行∫统 化管理。事实上,随着虚拟化技术的深入和策略方法的完善,今后将对资源分别进行深入 研究,细化資源调度方案,使CPU,IO, Network能够独立调度,更好的提高资源池利用 率 225|参考文献l( References) [1]M. Armbrust, A. Fox, R. Griffith, A D. Joseph, R H. Katz, A. onwinski, G. Lee, D A. Patterson, A. Rabkin, L. Stoica, and M. Zaharia. Above the Clouds: A Berkeley View on Cloud Computing. Technical Repor UCB/EECS-2009-28, Electrical Engineering and Computer Sciences, University of California at Berkeley, 2009 [2 L.M. Vaquero. L. Rodero-Merino, J. Caceres, and M. Linder. A Break in the Clouds: Towards a Cloud 230 Definition. ACM SIGICOMM Computer Communication Review, 39(1): 50-55, 2009 [31 R Buyya, S.Yeo Chee, S. Venugopal. Market-Oriented Cloud Computing: Vision, Hype, and Reality for Delivering IT Servers as Computing Utilities[A. Cloud IT Platforms 200& [C. San Diego: Springer Press. 2008 5~13 [4]J. L. Hellerstein, Y. Diao, S. Parekh, and D. M. Tilbury, Feedback Control of Computing Systems. John Wiley 235&Sons.2004 [5] David A Bacigalupo Jano van Hemer, Resource Management of Enterprise Cloud Systems Using Layered Queuing and I listorical Performance Models, 978-1-4244-6534-7/10/26.0(02010 IFEI [6] David A. Bacigalupo, Jano van Hemert, Asif Usmani etc, Resource Management of Enterprise Cloud Systems Using layered Queuing and I listorical Performance Models. Proceedings of the IEEE International Symposium on 240 Parallel and Distributed Processing, 2010 [7 Himanshu Raj, Ripal Nathuji, Abhishek Singh, Paul England, Esource Management for Isolation Enhanced Cloud Services. CCSW. 2009 [8] Anton Beloglazov and Rajkumar Buyya, Energy Efficient Resource Management in Virtualized Cloud Data Centers. 1Oth IEEE/ACM International Conference on Cluster, Cloud and (irid Computing, 2010 245 [9] Xindong YOU, Xianghua XU, Jian Wan, Dongjin YU, RAS-M Resource Allocation Strategy based on Market Mechanism in cloud. fourth china grid annual conference. 2009 7 国科技论文在线 http:/www.paper.edu.cn [10] Fei Teng. Fred eric Magoul es, Resource Pricing and Equilibrium Allocation Policy in Cloud Computing CIT. 2010 11] Qiang Li, Qinfen Hao, Limin Xiao, Zhoujun Li, Adaptive Management of Virtualized Resources in Cloud 250 Computing Using Feedback Control. ICISE 2009 [12]kvmlinux.http:/www.linux-kvm.org/pagc/mainPagc [13amazonEc2.http://aws.amazon.com/ec2/ [14]GoogleAppengine.http://code.google.comvappengine/ 15] D Nurmi, R. Wolski, et al. Eucalyptus: A Technical Report on an lastic Utility Computing Archietcture 255 200ong Your Programs to Useful Systems. Tech. Rep. 2008-10, University of California, Santa Barbara, October 8

...展开详情
试读 8P 论文研究-基于反馈机制的云计算资源分配模型 .pdf
立即下载 低至0.43元/次 身份认证VIP会员低至7折
    抢沙发
    一个资源只可评论一次,评论内容不能少于5个字
    • 至尊王者

      成功上传501个资源即可获取
    关注 私信 TA的资源
    上传资源赚积分,得勋章
    最新推荐
    论文研究-基于反馈机制的云计算资源分配模型 .pdf 24积分/C币 立即下载
    1/8
    论文研究-基于反馈机制的云计算资源分配模型 .pdf第1页
    论文研究-基于反馈机制的云计算资源分配模型 .pdf第2页
    论文研究-基于反馈机制的云计算资源分配模型 .pdf第3页

    试读已结束,剩余5页未读...

    24积分/C币 立即下载 >