在云计算环境中虚拟机重放置方法方面，现有多数算法通常聚焦单一目标的优化，而聚焦一个单一目标通常会牺牲其他目标来达到最优效果，因此有必要考虑多目标权衡的虚拟机重放置方法。以降低能耗和保证虚拟机的服务质量为目标，提出一种能耗—性能协调的虚拟机重放置优化算法，即能耗—性能优化配合降序最佳适应算法（energy-performance awareness best fit descending virtual machine relocating，EPAR），把资源使用率转换为能耗，同时权衡了能耗和性能之间的关系。该算法在选择重放置虚拟机时使用自回归模型预测下一时间段的性能，有效避免了不必要的迁移。通
3326· 计算机应用研究 第33卷 model,AR)对这些SA违背虚拟机的下一个响应时间值进行择重置虚拟机的可靠性。 预测。对预测值仍然违背SA的虚拟机进行降序排序,选出 与 PABFD、MBD、MBFD0方法相比,基于时间序 SLA违背量最大的虚拟机进行重放置。接着,为重放置的虛拟列的自叫归模型预测SA违背的虚拟机在卜一吋间段的性能 机选择宿主机:选择没有SLA违背的宿主机,然后根据基于资值,在定程度上缓解了每个虚拟机重放置后对原来的、新的 源利用率的卡线性套索回归能耗模型求解出宿主机的能耗,以宿主机和该宿主机上虚拟机的影响,同时解决了虚拟机暂时的 能耗剩余量最大的宿主机作为放置的目标。伪代码如下 负载突变造成性能违背问题。选择出SLA违背最大的虚拟机 算法1EPAR 进行重放置,可以最大限度释放原宿主机的资源。选择宿主机 Input: hotlist//宿主列表 时,把资源使用率和能耗两方面简化成能耗问题,把双目标问 Output: reallocation list//重放置的结果 Def utilokhostlist为符合资源限制的宿主机列表 题转换为单目标问题,有效考虑了系统的能耗和性能两方面, Def slalom为违背SLA的虚拟机列表 使得重放置的虚拟机能满足用户的服务质量,降低主机能耗。 Def migrateymlist为迁移虚拟机列表 Def flag为是否找到合适宿主机的标志位,当为-1时表示未找到21基于时间序列的自回归模型选择虚拟机 合适的宿主机;当为1时表示找到。 在选择虚拟机的方法中,为了避免虛拟机负载突变造成的 I Utilo Khost liste list 2 UtilOKhost List. sort Decreasing By Cpuutil(); SIA违背和减少不必要的迁移以及考虑到重放置后的虚拟机 *三阈值法选择虚拟机* 的影响,本文利用时间序列趋势预测法中的自回归模型预测 3 for each host in host list do 4 if( host. getcpuutil()>CputhresholdUP) then SLA违背的虚拟机在下一时间段的虚拟机的性能值。目前,人 5 UtilOKhost List. remove( host ); 部分云服务提供商租赁虛拟机给用户作为Wd服务器。其 *使冂式(1)为违背S的朦拟机预测响应时间,选择响应时间中,响应时间作为Web服务器的性能指标,也是衡量虚拟机性 最大的ⅤM进行迁移* Time >threshold )& max(AR(vm's respon- 能的主要指标。因此,本文使用AR模型预测虚拟机的响应时 问。利用n阶自回归模型AR预测下一个响应时间值,对于t 6 migratevmList add( vm) 时刻的响应时间T只与时刻前的n步取值们=1,T-2, 8 end it 7:n有关,则第t个响应时间T,可以表示为 9 clsc if host gctCpuutil( )<Cputhrcshold Low) then 10 UtilOKhostList. remove (host) Il migratevmList add( host. getAllVm()) 其中:q1,2,…,n为自回归参数,表示t时刻之前的取值T1, 12 host shutdown (): 丌2,…,T-对时刻的影响程庋;a,为正态分布随机变量。 13 shutdownhostList add( host ); 预测响应时间后,选择岀A违背量最大的虚拟机,即超出 14 end else if 15 end for 响应时间阈值最多的虚拟机。迁移时间最小方法( minimum 16 for each migratevm in migratevmlist then migration time policy,MMT)、随机选择方法( random choice poli- 使式(2)(3)计算出剩余的能剩余量,按照能耗剩余量对c,RC)是文献[14所选择重放置的虚拟机方法。文献15 这些佰主机进行排序* te. 17 compuling LeflEneryyof hosl in UIilOKhslLislby Ec.(2)(3)exI 提出了最少迁移数方法( minimization of migrations policy MM)。MM方法是当宿卞机的CPU使用率超过设定阈值时, i8 for each host in utile Khost list then *判断虚拟机放置后未超出宿主机的CPU使用率上限,且宿主选择最少数量的虚拟机集合使得宿主机的CPU利用率与这些 机首次满足虚拟机的能耗需要,放置非 拟机CPU利用率总和的差值小于CPU使用率的阈值。该方 19if(! migrate. isUpHostCpu Util()& host. isEngerEnough(mi-法单纯从CPU利用率角度考虑选择需要重放置的虚拟机,而 gratcvm)then 20 reallocation ist. add host1, migratevm); 未考虑虚拟机的内存利用率和其他外部因索。而本文在诜择 21 host. reduce Energy( migratevm) 重放置的虛拟机时,除了从超过CPU使用率阈值上限的宿主 22flg←1 机中选择虛拟机外还通过响应吋间选择虛拟机,同吋选择虚 23 end if 24 end fo 拟机预测值SA违背量最大的虚拟机,即首先选择预测响应 25 if( flag=-1) then 时间超过阈值最多的虚拟机。本方法使用虚拟机响应时间更 26 newhostt-shutdownhostList getOne(); 27 reallocationList add( newhost, migratevm); 全面合理,囚为响应时问是虚拟机资源使用率以及其他外部条 28 UtilOKhostList add( newhost 件(如恻络带宽和网络堵塞情况)等影响后的综合表现形式, 29 eud if 为虚拟机性能的表现形式。MMT方法中,迁移时间=内存使 30 end for 31 return reallocation list 用量/宿主机的带宽大小,该方法并不能准确计算出迁移时间 以上就是本文的算法思路,包含两大部分,部分是基于因为迁移时间不仅与虚拟机迁移过程中每次拷贝内存的脏页 时间序列的自回归模型选择重放置的虚拟机,另一部分是为重面的多少和拷贝次数有关,还与江移时网终情况有关,而不是 放置的虛拟机选择宿主机。 简单的内存使用量和带宽大小。 在选择重放置虚拟机时使用三阈值方法,三个國值分别为 基于时间序列的自回归模型预测出下一个时间段的虚拟 CPU上限阀值和CPU下限阈值以及虚拟机的响应时间阙值。机选择SLA值,以此为依据选择非短暂性SLA背的虚拟机 当宿主机的CPU使用率超过上限CPU阙值时,选择出超出响并且先把SLA违背量最大的虚拟机进行重放置,最大程度上 应时间阈值的虚拟机,即SA违背虚拟机,并使用基于时间序释放了原宿卞机的资源,使得原宿卞机中其他虚拟机有更多可 列的自回归模型对这些虚拟机进行响应时间的预测,选择出响使用资源,提高了它们的响应时间,可以避免其他虚拟机不必 应时间最长的进行迁移;对于CPU使用率小于CPU最低阈值要的迁移,快速降低总体能耗和提升虚拟机的SA 的宿主,对宿主机的所有虚拟机都进行迁移。与MMT、2.2基于最大剩余能耗的宿主机选择 MⅥ方法相比,本文方法从多维度进行选择虚拟机,保证选 在选择宿主机时,本文本看“不选SLA违背的宿主机,选 第11期 李湘,等:一种能耗—性能协调优化的虚拟机重放置策略 3327 择最大能耗利氽量的宿主机”的双项原则。在计算宿主机的术、KVM虚拟化技术、RBAC的安全访问控制模型、面向富用 能耗过程中,木文采用基于资源利用率的非线性套索回归的能户接口的云终端访问技术实现一个云教育资源管理平台,集成 耗模型(門IIRU)。据虚拟化服务器能耗硏究成果显示,C門U教育资源云存储、虚拟资源管理、平台监控管理、权限管理等功 能耗、内存能是服务器总能耗主要成分,分别总服务器总能,支持多租户服务模式,能够充分合理利用系统的计算、存储 能耗的58%和28%。因此,在研究服务器能耗时,本文只以及带宽等资源,达到灵活访问教育资源和实现云端服务共享 考虑CPU能耗和内存能耗。服务器CPU能耗和服务器内存能的目的。图2为基于广西大学云教育资源管理平台的虚拟机 耗分别与服务器CPU使用率和内存使用率有关,但不是简单重放置的框架图。PM在虚拟化层和物理层分别对虚拟机性 的线性关系。所以,本文的能耗模型以多元线性回归算法为基能进行检测和物玛的资源使用率进行监控。PERU对物理层 础,使用套索回归方法进行求解。 PLERU对CPU和内存资源中的宿主节点进行能耗建模。在服务层 decider通过EAR算 使用率建立多元线性回归能耗模型。能耗式为 法对性能和能耗进行权衡,最终获得重放置的虚拟机和重放置 y=6+61x+B2xmn+e;i=1,…,n (2)位置。在虚拟机上部署TPCW测试基准。由于商业化的虛拟 F(E;)=0,Var(E,)=a2,且s;为相互独立 机一般都是租赁给用户当W中服务器使用的,所以,本文以虚 其中:y,为测量到的能耗值;xnm,xm分别表示测量到的cPU拟机的TPCW测试基准的响应时间作为虛拟机的响应时间 和内存使用率;s,为不可观测的随机误差,其中i=1,2,…,n;文献[81表明在TPC_W测试基准中90%的 shoping交互的最 βB,B3为回归系数,是需要确定的量。在求解该多儿线性方大响应时间不能超过5000ms,因此,本文设定虚拟机响应时 程时,如果使用一般的多元线性方法求解该问題,容易出现过间的阈值为5000m。本实验将MM"+ IMBED6和文献 度拟合和拟合不足的问题。与传统的求解方法相比,套索回归[14中的MMT+ PABFD进行对比,实验室最终比较重放置 方法很好地克服了传统方法在选择模型上的不足。因此,在求后降低能耗量和重放置后的虚拟机平均响应时间、迁移虚拟机 解多元线性回归因子时使用套索回归方法。该方法把模型回的数量。 归系薮的绝对值函数作为惩罚来压缩模型系数,使绝对值较小 应用层 Weh 分布式 的系数自动压缩为0,从而同吋实砚显著性变量的选择和对应 实验□应用 计算 部署 参数的估计。当使用数据训练时,需要在过度拟合与拟合不足 ⅤM备仍 之间达成一个平衡。套索叫归方法的H标函数为 还原 VM重放置 VM资源 服务层、 扩充 mim.∑=1():-B0+B1xm+B2xmn)2+y∑m1B门](3) ider 教育资源管理平台 其中:n为样木个数;m为回归系数个数;y是惩罚因子,它控制惩 PMT 罚严厉程度。如果γ值设置过大,最后的模型参数将趋于O,形成 虚拟层 拟合不足;如果γ值没置得过小,又会形成拟合过度。所以,y的 VM 理用户行为监控平台信息监控 取值一般需要通过交叉检验来确定。 物理层(PERU>邮 PMT 根据 PLERU求出的每个宿主机的现有能耗,接着,求解出 每一台宿主机剩余的能耗量,并根据剩余的能耗量进行降序排 图2虚拟机重放置的框架图 序。排序后查找第一个没有违背SLA同时符合重放置虚拟机 本实验平台包括五台服务器,如图3实验硬件架构图所 能量要求的宿主机即为所选的宿主机。 示,通过一台千兆的华为交换机连接所有服务器。数据库 本节介绍了FPAR算法。其主要分为选择需重放置的虚eer作为本平台的数据库服务器和TPC_W的客户端。We 拟机和选择宿主机两部分。基于时间序列的自回归算法预测 是广西大学云教育资源管理平台的Wd服务器。虚拟 下一个时间段响应时间,解决了虚拟机暂时的负载突变造成性Nm1,庫找化Ne2和虚拟化Ne3作为本实验室半台 能违背问题。并且先对每台宿主机中的SLA违背量最大的虛的虚拟化服务器,运行测试的虚拟机。具体硬件配置如表1所 拟机进行重放置,最大程度上释放了原宿主机的资源,使得原示。在实验中,分别在虚拟化服务器中配置50台5台和100 宿主机中其他虚拟机有更多可使用资源提高了它们的响应时台虚拟机,检测虚拟机和宿机的资源使用情况,通过PM获 间,可以避免其他虚拟机不必要的迁移,快速降低总体能耗和取TPCW测试基准响应时间,作为虚拟机的响应时间。经实 提升虚拟机的SLA。EPAR算法把资源使用率和能耗两方面验,得到实验结果如图4~6所示。 转换成能耗问题,把双目标问题转换为单目标问题,有效考虑 了系统的能耗和性能两方面,使得重放置的虚拟机能满足用户 交换机 Web server 的服务质量,降低卞机能耗。 拟机 虚拟杋重放置需要通过虚拟机在线迁移实施。因此,重放 数据库s和mPCW客户端 虚拟化serv 置所引起的额外开销是由于在线迁移引起的。由于迁移的整 ②們P平负载 个过程,虚拟机的CPU和内冇使用率波动较大较难确定,所以 回网 TeW虚机 TW拟机 本文暂时忽略迁移所造成的额外开销 虚拟化 server2 虚拟化 server3 3实验测试 图3实验硬件架构图 从图4中可以看出,无论是50台、75台还是100台虚拟机 为了验证本文算法的有效性,基于广西大学的云教学资源的情况,本文算法都能够较好地降低能耗。MMT+PABI方 管理平台进行原型实验。广西大学云平台采用svit云存储技法在75台和100台虚拟机情况卜,降低能耗量是最多的,原因 3328· 计算机应用研究 第33卷 是它通过牺牲虚拟机的响应时间(即虚拟机性能)来降低能耗还可以避免不必要的虚拟机的迁移。但本文在研究中还有一 量。如图5所示,该方法在75台和100台虚拟机情况下,超过些不足,在以后的工作中将进一步研究不同虚拟机迁移策略下 了用户能接受的500ms的国际标准,表明该方法未能更好的开销优化 地对这些虚拟机的性能进行调整。而本文算法不仅有效减少参考文献 ∫虚找机的响应时间,还在保证虚拟机性能的情况卜,有效降[1￥ Yan Jings,As, Kun She,el, State-of-the-art research study fo 低了能耗。主要原因是本文每次选择SLA违背率最大的虚拟 green cloud computing[ J]. The Journal of Supercomputing, 2013 机进行重放詈,并且在选择宿卞机时诜择剩余能耗量最大的宿 65(1):445-468 主机。这样能最大释放原宿主机的资源把虚拟机都集中到能2 Dong Jiankang, Jin Xing, Wang Hongbo. Energy-saving virtual ma- 耗剩余量最人的宿主机上。从图5中可以看出,通过各算法重 chine placement in cloud data centers[ C.//Proc of the 13th IElE/ 放置虚拟机后,虚拟机的响应时问缩短了,木算法在50台、75 ACM Inlernaliomal Symp sill on Cluster, Cloud and Grid Cumpil- ing.[S.1.]: IEEE Press.2013:618-624 台和100台虚拟机的情况下都能保证重放置后虚拟机的响应[3. Wang Yefu, Wang xiaorui, Chen Min,etl.te: ower-aware 时间不超过5000m,有效保证了用户体验。从图6看出,本 response time control for virtualized Web servers[ J. IEEE Trans on 文迁移的虚拟机数量是最少的。基于时间序列的自动回归模 Parallel and Distributed Systems. 2010, 22(2): 323-336 型预测下个时间段SLA值,以此为依据选择非短暂性SLA[4 ang J w,omnM,KmHS,ca, Energy reduction in consolidated 违背的虛拟机并且先重放置每个宿卞机中SLA违背量最大的 servers through memory-aware virTual machine scheduling[J.IEEE 虚拟机,最大程度地释放了原宿主机的资源,使得原宿主机中[s Trans on Computers, 2011, 60(4): 552-564 Energy conservation in multi-tenant networks througl 其他虚拟机有更多可使用资源,提高了虚拟机的响应时间,可 power virtualization[ C]//Proc of Intemational Conference on Power 以避免其他虚拟机不必要的迁移,证明了使用三阈值选择的虚 ware Computing and Systems [S 1.1: USENIX Association, 2010 拟机的有效性 表1实验硬件配冒 6文雨,孟丹,詹剑锋.面向应用服务級目标的虚拟化資源管理[J」 软件学报,2013,24(2):358-377 名称 CPU/咳 内存/GB数量/个 [7ˉ李青,李勇,涂碧波,等.QoS保讧的数据中心动怂资源供应方法 华为交换机 [J].计算机学报,2014,37(12):2395-2407 虚拟化 server1XonE7-4850×2,4 [8 Beloglazov A, Buyya R. Managing overloaded hosts for dynamic con 虚拟化srve2Xcon5-2620x2,24 solidation of virtual machines in cloud data ccntcrs under quality of 虚拟化 serve:3 Xeon e5-2520×2,12 service constraints [J. IEEE Trans on Parallel and Distributed Web server Xeon p3-1230.4 Systems,2013,24(7):136-1379 数据库 serve XenF5-2407,4 [9ˉ胡丹丹,陈宁江,朱莉蓉,等,一种融合服务满急度的多因素感知 云肢务性能预测策略[J].计算机应用研究,2014,34(12):3663 屈拟机 QEMU Virtual CPU,2 3667. 权]800 [10 Kcssaci Y, Melab N, Talbi E G. A Parcto-bascd mctahcuristic fo 6000 scheduling HPC applications on a geographically distributed cloud 500 4000 federation[ J]. Cluster Computing, 2013, 16(3): 451-468 是2000 [l1]罗亮,吴文峻,张飞。面向云计算数据中心的能耗建模方法[J] 1000 钦件学报,2014,25(7):1371-1387 IM-TMRFD MMT+-PABFD EPa MⅥ MIBET MT+ PARET下PAR 12 Kansal A, Liu Jie, Singh A, et al. Semantic-less coordination of 图4放置后节约主机的能耗量 图5重放置后重放置的 虚拟机响应时间 power management and application performance[ J]. ACM SIGOPS 综上实验,相比MM+MBFD和MMT+PABF)方法,本 Operating Systems Review, 2010, 44(1): 66-70 文方法在保证用户5LA的情况下,最有效地降低了能耗,同时 L 13 Jung G, Ililtunen M, Joshi KR, et aL. Mistral dynamically mana- ging power, performance, and adaptation cost in cloud infrastructures 还可以避免不必要的虚拟机迁移 [Cl//Proc of the 30th IEEE International Conference on Distributed 10 1量机 Computing Systems. [S 1. 1: IEEE Press, 2010: 62-73 14 Beloglazov A, Buyva R. Optimal online deterministic algorithms and adaptive heuristics for cncrgy and pcrformance efficient dynamic con solidation of virtual machines in cloud data centers J]. Concurrency 要0 and Camputation Practice and Experience, 2012, 24(13) 图6虚拟机迁移个数 1397-1420 15 Beloglazov A, Abawajy J, Buyya R. Energy-aware resource allocation 4结束语 heuristics for efficient management of data centers for cloud computing [J]. Future Generation Computer Systems, 2012, 28 (5): 755 本文就重放置出现的不足,对放置算法进行改进,提出 种EPAR重放置算法。该算法在选择重放置虚拟机时使用三[16]李小六,张曦煌.虚拟化云计算教据中心能量感知资源分配机削 國值的方法,同时使用基于时间序列的自动回归模型预测下一 [J].计算祝应用,2013,33(12):3586-3590 个时间段SLA的违背值,检测虚拟机是否为暂时性负载突变 [17 Kansal A, Zhao Feng, Liu Jie, et al. Virtual machine power metering and provisioning[ C//Proc of the Ist ACM Symposium on Cloud 而引起的SLA违背,避免因此带来的不必要的迁移。在选择 Computing. New York ACM Press, 2010: 39-50 宿主机时,权衡了宿主机的性能和能耗。经实验对比表眀,本[18]凌秋惠数据库管理系统的TPCw性能测试研究[D].武汉:华 文方法在保证用户SLA的情况下,最有效地降低了能耗,同时 中科技大学,2004