论文研究-一种迁移开销感知的虚拟机动态整合算法.pdf

所需积分/C币:9 2019-09-10 17:51:49 705KB .PDF
收藏 收藏
举报

现有的以降低能耗为目标的虚拟机动态整合算法通常忽略了虚拟机迁移所带来的消极影响,导致虚拟机的动态整合虽然减少了数据中心的能耗,但不合理的虚拟机迁移次数较多,极有可能增加了SLA(Service Level Agreements)的违例率。针对上述问题,提出了一种迁移开销感知的虚拟机动态整合算法MigCAP(Migration Cost Aware Policy),定义了迁移收益参数EMP,MigCAP算法通过EMP值的大小来决定是否需要进行虚拟机的迁移,避免了不合理的虚拟机迁移的发生。实验结果表明,MigCAP算法与现有的其他虚拟机动态整合算法相比,能够在有效减少能耗和降低SLA违例率的基础上
44 016,52(21) Computer Engineering and4 pplications计算机工程与应用 据中心当前存在物理节点的CPU利用率超过了一定阈 Utilization(host) )=MIPS(host) (1)值,所以需要将其中的一部分虚拟机进行迁移,从而保 障SLA( Service level agreements)的违例率控制在 上一节的能耗模型表明,物理节点的功率可以由负定的范围内 载来得出,其体的数值与表1中的结果对应。记P(hot) 迁移开销感知的虚拟机动态整合算法的主动调整 Pn,(0s)分别为物理节点os动态整合前后的功率,部分的流程图如图1所示,具体描述如下:(1)根据物理 假设虚拟机动念整合前后数据中心除物理节点之外的节点中虚拟机的数目对物理节点进行逆排序,如果节点 其他部分功率没有发生变化,则虚拟机迂移前后数据中中虚拟机的数目相同,则根据物理节点的CPU利用率 心的能耗差可以通过以下公式来表示 对物理节点进行逆排序;(2)将物理节点作为箱子,排序 末尾的物理节点中的虚拟机作为物品,其中箱子的容量 D) iPower(4aA)=∑Pa1(hos1)-fny(os)(2)为节点的CPU计算资源的使用阈值,阈值的大小由 记 Mig Timest(A,A)为虚拟机总的迁移次数,定 LRR( Robust local regression)方法计算得出,而物品 义迁移收益参数EMP( Each migration profile)的数学 的大小为待迁移的虚拟机所需的CPU计算资源;(3)使 用经典的FFD( First fit decreasing)装箱算法进行尝试 表达式如式(3) 装箱,需要保证装箱之后目标箱子的容量利用率小于箱 EMP Difpower(A,A Mig Times(Aur,A (3)子的上限利用率,如果可以将排序末尾的物理节点中的 其中 Inpower(4-A灬e)表示迁移前后数据中心的能拟机全部迁移到其他活动物理节点,则将该物理节点 屮的所有虛拟机及其对应的迁移路径加入到待迁移虚 耗差,可由公式(2)计算得到; Mig timese(A…A)表示 拟机集合 Mig VMMap中;(4)重复执行步骤(2)和步骤(3) 从当前部署Aa整合成新的鄙署A需要的迁移次直到待迁移拟机集合 MigVMmap的大小没有变化 数,因为每个虚拟机最多被迁移一次,所以虚拟机的迁(5)设定初始的虚拟机分配矩阵为Au,执行上述步骤 移次数即为发生迁移的虚拟机数量。 后得到的虚拟机分配矩阵为A、,根据公式(3)计算尝 25400 比如当前虚拟机的分配矩阵Am=00422 试整合前后的EMP值,如果迁移收益参数EMP大于k 08410 〔k为EMP的國值),则按照虚拟机的迁移路径 MigCap 即表示当前有3个处于活动状态的物理节点中各自有进行虚拟机迁移;否则保持原状态不变。 运行了一台虚拟机,假设3个物理节点使川的都是HP 开始 ProLiant ML110 G4( Intel Xeon 3040, 2 cores 1 860 MHZ 4GB)的服务器,则当前情况下3台物理主机的负载分 别为4.7%、1581%、793%,对应的功率分别为87.6W、 对活动物理节点进行逆排 912W、88.6W;如果经过虚拟机动态整合之后的虚拟 254001 将末尾物理节点中的虚拟机作为 机分配矩阵A =42200,则整合之后只有一个物 物品,其他活动物理节点作为箱 flag- 84100 子,使用FFD装箱算法进行装箱 理节点处于活动状态,负载为28.52%,对应的功率为 95.4W。这种情况下共迁移两次,通过计算可以得到这 是否装箱成功? 次动态整合的迁移收益参数值为EMP=(876+912+ 886-954)2≈86 flag==1? 23迁移开销感知的虚拟机动态整合算法 本文提出的迁移开销感知的虚拟机整合算法的主 新的虚拟机分配矩阵A和 要目标是在考虑能耗以及SLA违例率的基础上,进一步 虚拟机迁移路径 MipMap 少虚拟机迁移的次数。算法的主要思想是根据每次 计算迁移收益值EMP 迁移带来的能耗收益决定是否进行虚拟机的迁移,并据 此引入了迁移收益参数EMP( Each Migration Profile)。 EMP.k 算法主要分为两个部分:主动调整部分和被动调整部 分。主动调整表示数据中心当前没有物理节点的CPU 按照 MigVMMap进行迁移 利用率超过一定阈值,则使用主动调整算法对数据中心 进行整合,以期达到减少活动物理节点的数量,提高整 结束 个数据中心计算资源利用率的H的。被动调整表示数 图1 MigCAP算法主动调整部分流程图 张欢,李仁发,黄晶:一种迁移开销感知的虚拟机动态整合算法 2016,52(21)45 迁移开销感知的虚拟机整合算法的被动调整部分移的虚拟机重新放置。步骒(1)中的四种物理节点过载 则比较简单,其具体描述如下:如果物理节点的CPU利用检测方法与步骤(2)中的四种虚拟机选择方法可以组 率大于上限利用率,则利用 MMT(The Minimum Migration成16种算法,本文提出的 MigCAp算法将与这16种组 Time policy)方法选择待迁移的虚拟机,而虚拟机的合算法进行比较实验。 迁移路径由对迁移虚拟机每个可能放置的H标物理节3.1实验参数 点计算迁移前后的能耗收益EMP值决妵,选择能耗收 仿真实验使用 Cloud sim模拟∫一个数据中心,该 益EMP值最大的物理节点作为目标物理节点,将虚拟数据中心包括150个异构的物理节点,其中一半使用HP 机及其迁移路径加入到待迁移虚拟机集合 MigVMMap proLiant ML10G4( Intel Xeon3040,2 cores1860MIz, 中,然后按照 Mig Vmmap保存的虚拟机及其迁移路径4GB)服务器,另一半使用 HP ProLiant M110G5 进行虚拟机的迁移 ( Intel Xeon3075,2 cores2660MHz,4GB)服务器, 迁移开销感知的虚拟机动态整合算法的伪代码实每个服务器假设拥有1GB/s的网络带宽服务器在不同 现如下所示 负载水平下的功率如表1。实验中有4种类型的虚拟机 迁移开销感知的虚拟机动态整合算法 MigCAP (与 Amazon ec2中的虚拟机实例类型对应):超强CPU配 输入活动物理节点列表 hotlist 置的虚拟机实例High- CPU Medium Instance(2500MPS, 虚拟机分配矩阵Acu 0.85GB)、超大型虚拟机实例 Extra large instance 输出虚拟机迁移路径 Migvmmap (2000MIPS,375GB)、小型虚拟机实例 Small instance (1000MIPS,1.7GB)、微型虚拟机实例 Micro Instance 3. host ist Cur t SortBvVMNum(host (500MIPS,613MB),假设用户需要申请300个这样的 foreach host in hostlistcur do 虚拟机,每个虚拟机的CPU利川率服从随机变量的均 匀分布。所有虚拟机最初始分配的资源由虚拟机的类 ToMig-add(host get v Mlist) 6. if Mig /MMap. add ( get VmPlacement(vm ToMig)=true 型决定,但是在虛拟机的整个生存周期里面,虚拟机所 flag< 1 获取的资源由工作负载来决定,且获取的资源不会超过 8. else break 最初始分配的资源。 9. while flag=l 3.2评价指标 10. EMP=DifPower(A Cur. A Nw )/Mig Times(A Cur,AN 实捡使用了6个评价指标,分别是数据中心能耗 11. if EMP<k or flag=0 与SLA违例率综合指标Esv( Energy and SLa Viola- Mig VMMap clear( tions)、数据能耗指标 Energy、SLA违例率指标SLAV 13. foreach host in hastlistNew do (SIAⅤ iolation)、每个活动物理节点的SIA违例时间 4. if isHostOverLoaded(host) then 指标 SLATAH( SLA vIolation Time per Active Host)、 15 vmToMig.add(get FromOverloadedHost(hu)虛拟机迁移导致的性能下降指标PDM( Performance 16. Mig /MMap. add(get v Placement(vm ToMig)) Degradation due to migrations)、虚拟机迁移次数指标 17. return Mig /MMap VM Migrations,每个评价指标代表的评价内容如表2 所 3仿真实验与结果分析 表2虚拟机功态整合算法的评价指标 本文实验采用 Cloudsim工具作为仿真平台,该平 评价内容 合是一个目前流行的云计算环境模拟框架。 Cloudsim 评价指标 ESV ESV的值等于 Encrgy值与SLAV值的乘积 模拟器中的动态整合算法分为三步:(1)检测物理节点 Energy 数据中心的能耗 是否过载,如果过载则选择其中的一部分虚拟机迁移到 SA的违例率,S.A违例主要是拦分配到的 其他物理节点。 Cloud sim中主要有四种检测物理节点 SLAV CPU扒行指令数小于请求的CPU指令数 过载的方法:THR( Static Threshold)方法、IQR( Inter- SLATAH 平均每个活动物理节点的SLA违例时间 quartile range)方法、LRR( Robust Local Regression)方 PDM 因为虚拟机迁移导致汋性能下降情况 法以及MAD( Median absolute deviation)方法。(2)选 VM Migrations总的虚拟机迁移次数 择过载物理节点中需要被迁移的虚拟机。 Clouds中33实验结果与分析 有四种从过载物理节点中选择待迁移虚拟机的方法 图2显示了迁移开销感知的虚拟机迁移方法 RS( Random selection)方法、MC( Maximum correlation) MigCAP与16种组合方法进行比较的情况,其中四种物 方法、MU( Minimum utilization)方法以及MMT(The理节点过毂检测方法( THR, IQR、LRR、MAD)的参数分 Minimum Migration Time)方法。(3)将所有需要进行迁别设置为 Cloudsim默认的0.8、1.5、1.2、2.5, MigCAP算 46 016,52(21) Computer Engineering and Applications计算机工程与应用 法中的迁移收益参数k的数值设定为23 方法活动的物理节太太多,所以平均SLA违例时间较少。 由图2(a)可以看出, MigCAP方法的ESV指标值为 从图2(e)和图2(f)可以看出,在虚拟机的迁移次数 0.0151,只有其他方法最小值的13,说明 MigCAp方法方面, MigCap方法与其他方法中表现最优的 LRR-RS 在数据中心能耗和SLA违例率方面的综合表现较高。方法相比减少了60.55%,表明 MigcaP方法有效地避免 图2(b)表示各个方法在能耗方面的表现情况,不合哩的虚拟机迁移,达到了方法预期的效果 MigCAP方法比其他16种方法的最低能耗值小0.1%, 以上实验结果表明迁移开销感知的虚拟机迁移方 说眀 MigCaP方法在能耗方面的表现稍好于其他算法。法 MigCAP与 Cloudsin中的其他16种组合算法相比 图2(c)表示各个方法在SLA违例率上的表现,虽然没有明显减少数据中心的电能消耗和降低SLA违 MigCAP方法的SLA违例率只有其他方法最低违例率例率,但是显著减少了虚拟机的迁移次数。 的30%,表明 MigCAP算法有效降低了SLA违例率。 为了更准确地分析FMP的國值k对性能指标的影 图2(d)给出了各活动物理节点的平均SLA违例时响,本文还设计实验将EMP的國值k从0递增到100(物 问, MigCAp方法在该指标上表现不佳,不过由于在该理节点的最大功率为135W,个物理节点会放置2台 指标上表现更优的 IQR-RS方法、 IQR-MC方法与以上的虚拟机,所以0<k<67.5,为了表示方便,将k设 IQR-MMT方法的能耗远高于 MigCAP方法,表明这些定为0到100),比较虚拟札迁移次数与其他性能指标随 250 bl (a)各算法的ESV指标值 (b)各算法的能耗值 100 、999泽小830MgAp (∞)各算法的SLAV指标值 (d)各算法的 SLATAH指标值 0.3 0.2 10 ?、y 夕、、 (c)各算法PDM指标值 (各算法的虚拟机迁移次数 图2不同算法各个评价指标的比较 张欢,李仁发,黄晶:一种迁移开销感知的虚拟机动态整合算法 2016,52(21) 47 8000 I O00 VM Migrations SLAV 6000 270 VM Migrations 400 240 ≌40 2000 210口 2000 40 (a) Energy指标与迁移次数指标的关系 (b)SLAV指标与迁移次数指标的关系 8000 20 8000 0.08 VM Migrations -VM Migrations SLATAH PDM ≌6000 15 6000 0.06 4000 2400 0.04 >2000 2000 00 100 100 k (c) SLATAH指标与迁移次数指标的关系 (d)PDM指标与迁移次数指标的关系 图3虚拟机迁移次数与其他性能指标随k变化的关系 k变化的关系。 次数,达到了方法预期的目标。然而,本文所提出的算 如图3所示,使用 MigCAP方法进行虚拟机动态整法仅在模拟环境中实现,在实际运行环境中应用的效果 合的时候,在一定范围内随着k值的增大,虚拟机的迁还有待考察。下一步的研究可以将本文提出的算法在 移次数的减少,数据中心的能耗随之变大,而与此同时 Open Stack, CloudStack等云计算平台中实现,考察算法 SLAV、 SLATAⅡ以及PDM指标随之变小,表明虚拟机在真实运行环境中的效果;另一方面也可以针对不同类 的迁移次数与数据中心的能耗指标正相关,而与SLAV、型的工作负载做出相应的改进。 SLATAH以及PDM指标负相关。EMP的阈值k越小 说明虚拟机的整合策略更为激进,虚拟机的迁移次数则参考文献 越多;而EMP的阈值越大,则虚拟机的整合策略更为1] Barroso la, Holzlc u. Thc casc for cncrgy-proportional 保守,虚拟机的迁移次数则相应越少。实验数据表明, computing[J]. Computer, 2007, 40(12):33-37 当前实验条件下,当EMP的國值k设定为小于21的数(2] Kusic d, Kephart J o, Hanson j e,etal. Power and per 值的时侯,虚拟机的次数基本保持不变,说明凵经不能 formance management of virtualized computing environ 有更多的迁移发生来减少数据中心的能耗;而在当前设 ments via lookahead control[] . Cluster Computing, 200 定的条件下,k设定为大于41的数值的时候,虚拟机的 12(1):1-15 迁移次数保持不变,说明此时的虚拟机迁移只有在物理3] Cardoso M, Korupolu M, Singh A Shares and utilities 节点过载的时候发生,而物理节点负载过轻则基本不会 based power consolidation in virtualized server environ 发生虚拟机迂移。 ments[ C /Proceedings of the llth IFIP/IEEE Integrated 从以上仿真实验结果可以看出,本文提出的迁移开 Network Management(IM 2009), Long Island, NY,USA 销感知的虚拟机动态整合算法可以在减少能耗和降低 2009. SLA违例率的基础,进一步减少了虚拟机的迁移次4VmaA, Ahuja p, Ncogi A pMappcr: power and migra- 数,达到了算法预期的效果。 tion cost aware application placement in virtualized sys tems [c]/Proceedings of the 9th ACM/IFIP/USENIX Inter national Conference on Middleware( Middleware 2008) 结束语 本文针对现有虚拟机动态整合方法没有考虑虚拟51 Jung g, Joshi K r, Hiltunen M A, et al. Generating adap- 机迁移的消极影响,不合理迁移次数过多的问题,提出 tation policies for multi-tier applications in consolidated 了一种迁移开销感知的虚拟机动态整合方法。 Cloud server environments[Cl/Proceedings of the 5th IEEE Inter sin的实验结果表明,该方法能够在减少数据中心能耗 national Conference on Autonomic Computing (ICAC 以及降低SLA违例率的条件下,有效减少虚拟机的迁移 2008, Chicago,IL,USA,2008:23-32 48 016,52(21) Computer Engineering and Applications计算机工程与应用 [6 Beloglazov A, Buyya ROptimal online deterministic algo Efficient Computing and Networking, Passau, Germany rithms and adaptive heuristics for energy and perfor 2010:215-224 mance efficient dynamic consolidation of virtual machines [12] Luo J, Li X, Chen M. Hybrid shuffled frog leaping algo in cloud data centers[]. Concurrency and Computation: ithm for cnergy-cfficient dynamic consolidation of vir- Practice and Experience, 2012, 24(13):1397-1420 tual machines in cloud data centers [J].Expert Systems [7 Kumar S, Talwar V, Kumar V, et al. vManage: loosely with Applications, 2014, 41(13): 5804-5816 coupled platform and virtualization management in data [13 Chuang I H, Tsai Y T, Horng M F, et al. A GA-based centers[C]pRoceedings of the 6th International Confer- approach for resource consolidation of virtual machines ence on Autonomic Computing(ICAC 2009), Barcelona in clouds[M]/Intelligent Information and Database Sys spain,2009:127-136 tcms.[SL]: Springer International Publishing, 2014: 342-351 [8 Barford P, Crovella M. Generating representative web work [14 Ferdaus M I, Murshed M, Calheiros R N, et al. virtual loads for network and server performance evaluation[JI machine consolidation in cloud data centers using ACM SIGMETRICS Performance Evaluation Review ACO metaheuristic[M] /Euro-Par 2014 Parallel Process 1998,26(1):151-160 ing [S1.: Springer International Publishing, 2014: 306-317 [9 Feitelson D G Workload modeling for performance eval- [15] Calheiros R N, Ranjan R, Beloglazov A, et al. Cloud- uation[C]/Lecture Notes in Computer Science, 2002 Sim a toolkit for modeling and simulation of cloud 2459:114-141 computing environments and evaluation of resource [10] Li H Workload dynamics on clusters and grids .The provisioning algorithms[ - Software: Practice and Experi- Journal of Supercomputing, 2009, 47(1): 1-20 ence,2011,41(1):23-50 [11 Berral J L, Goiri, Nou R, et al.Towards energy-aware [16 Minas L. Ellison B Energy efficiency for information scheduling in data centers using machine learning[c]/ technology: how to reduce power consumption in serv Procccdings of the 1st International Conference on Energy- crs and data centers[M]-[S.. ]: Intel Press, 2009 (上接20页) duction[M]. Cambridge, MA: MIT Press, 1998 ] Wilson s w.zCS: a zeroth level classifier system[JEvo-[14]秦政,J福光,边信黔强化学习在移动机器人自主导肮 lutionary Computation, 1994, 2(1): 1-18 中的应用[J计算机工程与应用,2007,43(18):215-217 [8]Wilson S W Classifier fitness bascd on accuracy [I]. Evo- [15] Schwartz A. A reinforcement learning method for maxi lutionary Computation, 1995, 3(2): 149-175 mizing undiscounted rewards[ C]//Proceedings of the TStrength or accuracy? Fitness calculation in Tenth International Conference on Machinc Learning learning classifier systems[C]/ Learning Classifier Sys- 1993:298-305 tems: From Foundations to Applications. Berlin Heidel [16 Mahadevan SAverage reward reinforcement learning four berg: Springer, 2000: 143-160 dations, algorithms, and empirical results[J]. Machine Learn [10 Bull L, Hurst I.7.Cs redux[].Evolutionary Computation ing,1996,22:159195 2002,10(2):1 [17]戈军,周莲英基于 SARSA(λ)的实时交通信号控制模型[J [Il Tzima F A, Mitkas P AZCs revisited zeroth-level clas 计算机工程与应用,2015,51(24):244-248 sifier systems for data mining[C]/Proceedings of the [18] Singh S PReinforcement learning algorithms for average 2008 IEEE International Conference on Data Mining payoff Markovian decision processes[cyiproceedings Workshops. Washington DC, USA: IEEE Computer soci- of the Twelfth National Conference on Artificial Intell ety,2008:700-709 gence( Vol. 1). Menlo Park, CA, USA: American Associa [12] Zang Z, Li D, Wang J, et al. Learning classifier system tion for Artificial Intelligence, 1994: 700-705 with average reward reinforcement learning[J] Knowledge- [19] Zatuchna 7, Bagnall A.A learning classifier system for Based Systems, 2013. 40: 58-71 mazes with aliasing clones [J]. Natural Computing, 2009 [13] Sutton R S, Barto A G Reinforcement learning: an intro 8(1):57-99

...展开详情
试读 7P 论文研究-一种迁移开销感知的虚拟机动态整合算法.pdf
立即下载 低至0.43元/次 身份认证VIP会员低至7折
抢沙发
一个资源只可评论一次,评论内容不能少于5个字
weixin_38743506 欢迎大家使用并留下宝贵意见
2019-09-10
  • 至尊王者

    成功上传501个资源即可获取
关注 私信 TA的资源
上传资源赚积分,得勋章
最新推荐
论文研究-一种迁移开销感知的虚拟机动态整合算法.pdf 9积分/C币 立即下载
1/7
论文研究-一种迁移开销感知的虚拟机动态整合算法.pdf第1页
论文研究-一种迁移开销感知的虚拟机动态整合算法.pdf第2页

试读结束, 可继续读1页

9积分/C币 立即下载 >