针对数据中心网络中高能耗的问题，提出了一种拓扑感知型能耗优化算法。算法首先根据广义超立方体拓扑多维正交和单维全连接的结构特性，优化虚拟机的部署位置，进而提出多维最佳适应策略来充分利用服务器各维资源。然后利用虚拟机资源需求预测模型并结合迁移代价公式，均衡考虑服务器资源使用代价、虚拟机通信代价和迁移资源消耗，在合理迁移虚拟机以满足系统性能的前提下，降低了网络的能耗并且缓解了网络链路的拥塞。最终将网络的能耗优化问题转化成虚拟机在服务器上的优化配置问题。实验结果表明，与其他三种算法比较，算法在降低系统能耗和减少拥塞方面获得了良好的效果。
王仁群,彭力:数据中心网络拓扑感知型能耗优化算法 2017,53(17)119 22虚拟机资源需求预测模型 况,优化虚拟机的初始化放置过程,使虚拟机各维资源 之前资源需求预测方面的研究主要集中在对服务利用最大化 器进行直接预测,但是服务器上虚机的分布是动态音先,將现有虚拟机集合V需求的物理资源进行 的,从而使服务器资源需求没有明显的规律,而虚拟机归化处理。由丁网络模型中,每个服务器的物理特性 的资源需求与用户的习惯有关往往是呈现律性的要均相同,即R,=Rm,那么归化过程可以简化为求虚 化,所以本文对虚拟机的需求进行建模,从而间接准确拟机需求资源Sm和服务器的该项资源R的比值。 地获得服务器的能耗情况。假设虚拟机集合为由此将虚拟机需求的各项資源量S灬,转化成0到1之间 V={V1,V,…,VM},其中M表示虚拟机的数量。虚拟的数,并取K为 机Vn的资源需求是d维向量Sn={Smn1,Smn2,…,Snd, 然后,将虚拟机按照多维资源需求降序排列,从而 其中每一维S表示虚拟机需求的第种物理资源的得到a个列表,标记为ab,其中1≤≤d,见表 数量例如CPU内体磁盘和带宽等资源。服务器集合在当前服务器上进行虚拟机放置时,选择服务器最大剩 为P=P,P2…其中N表示服务器的数量服务余资源的类型即满足如下公式 器P的拥有资源也是d维向量R,=(Rn1R,…RAM, ype={lmax(L)=1,2,…, 那么服务器剩余资源可以用向量L=0,L2…,Ln按述类型合询相应资源的虚拟机降序列表进而 表示 选择爷维资源能够满足虚拟机需求且放置后服竻器剩 为了把握时间序列的复杂结构且保持预测模型的余的ype类型的资源最少的服务器进行放置,即满足如 简约性,从而在侏证性能的前提下,降低模型计算的复下公式: 杂度,本文采用自回归滑动平均模型(Auto- Regressive n;<m;,i∈a and Moving Average model,ARMA)作为虚拟机需求 min(,imax n),i∈a 资源的预测模型。将当前时刻标记为,在时刻虚虚拟机放置完后,将该虚拟机从d个列表屮去除。 拟机V所需要的資源可以标记为S,则在时刻之前 表1abe(i取1,代表CPU资源) 的第时刻虚拟机的需求资源标记为S,在时刻之 资源类型CPU(1)内存(2) 带宽(d) 后的第i时刻虚拟机的需求资源可标记为S"#。由 虚拟机 0.10 0.05 0.21 (户q)阶ARMA模型可知,虚拟机Vm根据在t时刻之前 虚拟机 0).09 0.1D 的历史资源需求来预测t+1时刻的资源需求为: 0.01 0.07 0.02 Sm=AR(aS)+MAlae (3) 虚拟机 虚拟机 0.00 0.03 0.17 AR(BS)=Bo+BSm+B2Sa+ +.sms 如果当前服务器最大剩余资源L比ube:中的该 MAlue)=em +ayem ta, y 项资源最小值还要小时,直接启动新服务器,放置一个 其中a,是从序列中估算出来的常数,c是满足正太分各项物理资源使用相对均匀虚拟机,即满足 布的误差值。这就是虚拟机需求资源的预测模型。 根据上述原理,可以根据当前时刻(含当前时刻) min>(. i-S =1 之前的x个时刻预测当前时刻之后的y个时刻的虚拟 S/d 机资源需求。t时刻后第k时刻的预测式为 +k-r cr+h-r+l S:+k-1 接着按照上述过程继续放置,直至虚扎机列表中没 其中∫为预测算法模型。为了避免预测值过小,导致有项目。在放置过程中按照服务器整数地址Z递增的 SLA违例问题,将求得的预测值乘以系数δ(通常取略次序进行放置,即从0到N-1。这样可以减少虚拟机 大于1的常数)作为上述预测算法所得预测值的补充。的通信距离,从而降低通信代价。从坐标形式上看按如 下顺序放置 3拓扑感知型能耗优化算法 000→001→002→010→011→ 将能耗感知的虚拟机优化调度过程分成三个阶段 设置每台服务器各项资源的利川率阈值为φ,山 虚拟机放置初始化、虚拟机动态迁移和虚拟机静念部署。文献[14可知,服务器资源利用率达到09后,系统的性 3.1虚拟机初始化放置 能会急剧下降,所以本文取φ为0.85,使系统运行在最 在现有适用于虚拟机单维资源初始化的BFD策佳且有适当性能余量的状态,以防在后续的动态迁移过 略的基础上,本文提出了适用于多维资源合理分配的程中,由于迁移带来的资源消耗降低了物理系统的性 MDBFD策略。该策略结合服务器多维资源的使用情能。则每台服务器放置虚拟机时,应满足各种资源利用 1202017,53(17) Computer Engineering and Applications计算机工程与应用 率不大丁φ。定义H为1,表示虚拟机Vm放置在程。选择的目的服务器除了应该考處各项物理资源应 服务器P上,反之为0。则上述虚拟机初始化放置过程满足虚拟机的要求以外还需注意迁移目的服务器各项 应满足: 资源利用的均衡程度、迁入虚拟机的通信代价和迁移过 ∑( SMiXIIn)≤中甲×R,=1,2,…,d (9)程中的资源消耗,考虑服务器资源利用的均衡程度,目 32虚拟机的动态迁移 的是通过虚拟机的放置避免因为某种资源的过度利用 出于虚拟机在使用过程中,资源需求是动态的,那导致服务器利用的过早饱和,这不利于DCNs的能耗降 么需要对已经初始化放置的虚拟机进行动态迁移一方低。考虑迁入虚拟机的通信代价从而减少DCNs的链 面满足虚找机对物理资源的需求,另分面可以回收低路拥塞。迁移过程的资源消耗是指在迁移虚拟机的过 利用率的服务器,以降低能耗 程中所耗损的CPU资源和链路带寬资源代价。将这些 321迁移时刻的选择 因素考虑在内,可以兼顾数据中心网络的能耗优化和网 本文根据27中建的虚拟机资源需求预测候型子通性能的高 利用虚拟机运行的x个历史数据,预测当前时刻之后 假设与迁移虚拟机通信的其他虚拟机数量为 y个时刻的每个虚拟机资源需求为sm252,3, 每个虚拟机通信带宽需求为Net,为统·计算,将虚拟 进而得到y个时刻每个服务器的各项资源利用率。如机之间的路径长度D归一化处理为D/P,其中是网 果服务器P,的资源利用率大于师或者低于利用率下限络的维度,也是两虚拟机之间的最大距离。Cm,UL 值时,在下一时刻对服务器P中虚拟机进行动分别表示虚拟机迁移过程中所需求的cPU和带宽资源 态调整,使之能够满足系统性能保证和能耗优化的要求。 占服务器的比例,经验值取10%,k是比例系数。由 3.2.2迁出源虚拟机的选择 此可知 若服务器Pn中某一资源利用率大于上限阙值时, (1)服务器资源使用均衡度: 将该服务器中虚拟机按照过载资源的使用大小降序排 ax4=∑△-∑△ 列,形成该类资源的使用列表。选择一个或多个虚拟机 迁出放置于等待部署的虚拟机队列中,以满足迁出后服 务器该种资源利用率恢复到正常阈值范围内且与國值 (2)虚拟机间的通信代价: 的差值最小,并且由丁迁移时间代价的问题,选择迁出 Cast=∑Ne(D/p) (12) 的虚拟机需要在过载发生前迁出,以满足用户SLA的要 求。即满足如下公式: (3)迁移过程的资源消耗: ∑Sm:≤中甲,=1 Cost=k×(U (10) 所以虚拟机迁移过程中的代价应满足如下限制 条件 rove S≤L,V∈d 其中∑Sm;表示使服务器利用率小于最大國值ψ所 (14) 移出的一个或多个虚拟机的第种资源和。 Cosl=min[(cosi,(Cost )(Cost,)o 若服务器Pn屮各项资源利用率均小于下限阙值其中gy表示各项的权重系数,代表各顶对虚拟机迁 时,迁出所有虚拟机放置于虚拟机队列中。 移代价的影响 虚拟机的动态迁移还需要满足以下限制条件 通过如上的过程,可以在降低系统能耗和保证系统 (1)虛拟机的服务质量需要保证,即满足川户SLA 性能的情况下,通过虚拟机的合理调度控制虚拟机的拥 的要求 塞情况。 (2)迁移虛拟机过程中,服务器的CPU、内存和带宽 等资源需要满足迁移的需求。 4仿真实验 (3)实验表明,多个虚拟机的同时迁移会导致服务 按照图1中27=3的GHC拓扑在 Green Cloud云仿 器性能的急剧下降,所以本文算法过程每台服务器同时真平台上进行实验,该平台是NS2网络仿真平台的扩 只允许个虚拟机进行迁移。 展,能够很妤地实现云仿真的过程,并且能够完整地记 33虚拟机静态部罟 录仿真实验过程中产生的状态数据,以便后续实验结 将上述迁出的虚拟机和新需求的虚拟机放置于等果。服务器物理资源需求参考当前主流的IBM服务器 待部署的虚拟机队列中,进行虚拟机的静态部署。静态资源进行配置,具体如表2。采用Xen33架构作为 部署的过程就是选择合适目的服务器放置虚拟机的过虚拟机的基础架构,并针对不同应用类型(计算密集型、 储存密集型、通信密集型等)的虚拟机需求生成相应虚 王仁群,彭力:数据中心网络拓扑感知型能耗优化算法 2017,53(17)121 拟机,以便科学地模拟真实环境下虚拟机的业务请求。量来衡量本文算法通过缩短虚拟机的通信距离,降低 实验将选择对单·CPU资源进行优化的FFD算法,相网絡的通信负担,从而减少拥塞链路,进而达到降低网 对平均分布虚拟机的 Random算法和智能ΔCO算法与络拥塞的目的。网络拥塞链路数量表征了算法通过虚 本文算法 TAECO算法在硬件设备使用数量、网络拥塞拟机的合理部署对网络拥塞程度的控制效果。在算法 链路数量服务器过载次数和时间复杂度四个性能指标。设计过程中通过静态部署阶段,考虑到未来虚拟机通 下进行对比实验。根据经验值和相关文献设定参数信代价,计通信量较大的虚拟机放置于较近服务器上, 为:不同虚拟机部署数量的仿真时间均设置为2小时,预这样可以减轻网络的通信负担。各种算法下拥塞链路 测值补充系数δ取11,资源维度a设为4,选择CPU、数目如图3所示对比 内存、磁盘和带宽资源作为部署的参考维度。资源利用 率上限阈值φ和下限阈值分别为0.85和0.15 RANDOM 虚拟机迁移时间tnc由经验公式 t=0.0904x+2.45 +-TAECO 确定,其中r表示迁移虚拟机的内存。比例系数k取 01。权重系数p,y,m分别取2,1和1 沾嫩米 表2物理服务器资源配置表 型置 参数 内存/GB 0 磁盘/B 102030405060708090100 带宽(Gb:s-) 虚拟机数量 图3不同算法网络拥塞链路数量对比 4.1硬件设备使川数量 本文通过服务器和网络设备(主要是服务器)使用 从图3中可以看出,由于 TAECO将链路通信代价 数量反映各种算法在节省能耗方面的表现。选择10到 量化考虑在算法的虚拟机迁移过程屮,选择通信代价较 100个虚拟机进行部署实验,它们有不同CPU内存、磁小的服务器进行放置,所以其链路拥寒情况最少。ACO 盘和带宽资源观察各种算法下硬件设备的平均使用情和F在虚拟机集中放置的同时,没有考虑到虚拟机之 况,对比如图2。 间通信情况,往往导致更高的通信代价,实验也印证了 这一点。因为 Random采用随机平均放置的方式,虚拟 口 RANDOM 机放置相对分散,每台服务器的通信量不大,其链路拥 211+Q 塞情况也较小。 4.3服务器过载次数 服务器过载次数是衡量算法保证服务性能的重要 29630 指标。过载有可能影响用户SLA的要求,所以越少的过 载次数,说眀算法越能够保障很好的服务性能,从而能 够进行能耗优化和拥塞控制。不同虚拟机数量放置情 10203040 6070809010 况下,计量各算法的过载次数,具体曲线如图4 虚拟机数量 2400 ANDOM 图2不同算法服务器使川数量对比 从图2中可以看出, Random是随机平均分布算法, 20100 TAECO 没有考虑资源的合理配置,只是粗略地考虐资源是否满 足放置的要求,所以使用的服务器资源最多。因为HD l200 只考虑虚拟机CPU资源的大小关系,不能很好地利用 服务器其他维度的资源,所以算法性能不佳。ACO是 仿生物学算法,结合蚁群觅食过程的正反馈原理,在多 维资源间寻求最佳的虚拟机放置方式,在比较的方法 10203040 60708090100 屮,获得了最好的效果。 TAECO因为借助于 MDBED策 虚拟机数量 略,效果虽稍差于ΔCO,但比其他两种算法效果更好。 图4不同算法服务器过载次数对比 4.2网络拥塞链路数量 从图4中可以看出, TAECO服务器过载次数最少, 网络链路的拥塞指标可以通过网络拥塞链路的数因其对虚拟机需求资溟进行预测,提前得到服务器过载 1222017,53(17) Computer Engineering and Applications计算机工程与应用 时间,在过载发生前适当迁出虚拟机,达到减少过载可 理[小计算机学报,2012,35(6):1262-1285 能的目的。 Random因其服务器资源利用率相对较低,[S)革仕李瑞年李晓林基于软件定义数据中心络的节能 不易过载,故过载次数也很低。其他两种算法都是在过 路由算法门计算机研究与发展,2015,52(4):806-812 载形成时,才采用相关策略缓解过载题,一定时间内(61 Beloglazov A, Abawajy J, Buyya R Energy-aware re 造成了违反用户SLA的情况 source allocation heuristics for eflicient management of 44时间复杂度 data centers for cloud computing []. Future Generation 时间复杂度指标代表算法实际部署到DCNs中的 Computer Systems, 2012, 28(5): 755-768 时间需求,它直接表征算法的可用性。DCNs是高带宽 anigrahy R, alwar K, Uyeda, et al. Heuristics for vec 低延迟的网络环境,对各种算法的部署有着严重的时间 torbinpackingeb/ol].[2011-01-01].httPs:/www.microsoft. o com/en-us/research/publication/heuristics-for-vector-bin- 限制,所以通过时间复杂度来衡量算法的有效性是很重 packing/? from=hLp% 3A%2F% 2Fresearch microsof com% 要的。各算法的平均部署时间如表3。 2Fapps%2Fpubs%2 Default. aspx%3 Fid%3D147927. 表3各算法的平均部暑时间 [8]董健康.面向云数据中心的虚拟机调度机制研究[D]北 RANDOM FFD ACO TAECO 京:北京邮电大学,2014. 间s0.471.365682.751 [9]王鹏.基于数据挖据的数据中心能耗分析系统研究与开 从表3屮可以看出,ACO部署所需时间最长,因其 发[D]北京:北京邮电大学,2013 为了寻找全局最优解,进行了多次迭代过程,使算法的[Hlr,. eetharaman g,Mnp,atoe 复杂度急剧增加,远远大于其他毫秒级路由算法 saving energy in data center networks[C]pRoceedings of the seventh useunix Conference on Networked Systems Design and Implementation. Berkeley, USA: 5结束语 USENIX ASSUCIation, 2010 本文针对DCN中高能耗的问题,提出了 TAECO11 Shang Y,LiD, Xu M Energy-aware routing in data 算法。该算法通过优化虚拟机在服务器上的部署策略, P of the First ACM 在能耗降低和拥塞控制方面,获得了良好的效果。实殓 SIGCOMM Workshop on Green Networking. New 证明,在保证服务性能的情况下,服务器使用数量和拥 York. USA: ACM.2010 塞链路数量均得到了明显的减少,且算法部署时间相对「121Azis, Hashemi n, Zarandi M A Comparison between 较小。下一步的目标是将其部署到实际的DCNs中,研 topological properties of hyperX and generalized hyper- 究真实情况下算法的表现 cube for interconnection networks[J]. International Journal of applied mathematics Computer Science, 2013 参考文献 9(2):11-122 [1] Wang L, Zhang F, Arjona Aroca J, et al. GreenDCN [13 Bhuyan L N, Agrawal D P Generalized hypercube and general framework for achieving energy efficiency in hyperbus structures for a computer network [M].[S1. data center networks[J]IEEE Journal on Selected Areas IEeE Computer Society Press, 1986: 323-333 in Communications, 2014, 32(1): 4-15 [14]黄庆佳能耗成本感知的云数据中心资源调度机制研 [2]李丹陈海,任丰原,等.数据中心网络的研究进展与趋 究[D]北京:北京邮电大学,2014 势[计算机学报,2014,37(2):259-274 「15]罗亮,吴文峻,张飞面向云计算数据中心的能耗建模方 [3]邓罡,龚正虎,王宏现代数据中心网络特征研究计算 法[J软件学报,2014,25(7):1371-1387 机研究与发展,2014,51(2):395-407. [16]张小庆.基于云计算环境的资源提供优化方法硏究[D] 「4]叶可江,吴朝晖,姜晓红,等虚拟化云计算平台的能耗管 武汉:武汉理工大学,2013