论文研究-量子遗传算法优化神经网络的MIMO-OFDM检测研究.pdf

所需积分/C币:9 2019-09-08 14:13:02 654KB .PDF
收藏 收藏
举报

数据库即服务(DBaaS)是云计算的一个研究热点,而数据应用托管则是当前DBaaS的一个重要应用领域。为满足行业数据应用托管中对DBaaS提出的数据隔离、性能隔离及可靠性保障等方面的要求,提出一种无共享架构下基于虚拟机、支持副本的多租户数据托管方法及相应的数据库即服务系统。针对该系统中面向租户的虚拟机资源(CPU、内存等)动态优化这一核心问题,建立了基于虚拟机的系统资源效用函数和数据库性能计算模型,并在基础上给出了一种根据租户数据请求负载并采用贪心方式的虚拟机资源动态优化算法。结合科技信息服务数据库托管应用示例进行了实验,实验结果表明提出的方法可以根据各个租户的数据库负载动态优化虚拟机的资源分
王卓昊,王希诚:面向托管的数据库即服务系统及资源优化技术 2011,47(27) 性,考虑请求负载按照ROWA°的模式来分发,对于只读査询,本,每台服务器资源被其上两个虚拟机平分。这条启发规则 负载路山器将其发送到日标数据库的某一个副本;对于更新的目的是为了满足服务水平协议中的可靠性要求,此后任何 査询,负载路由器将其发送到目标数据库的每一个副本。若次资源调整时,每个租户的副本个数都不能少丁两个。 请求负载中读操作概率为α,写操作概率β,a+B=1,则所有 2在每次调整資源前,先确定哪些租户需要增加资源, 读写负载的平均响应时间r2为: 哪些租户可以减少资源。对于租户i,当前配置为X,下一周 RT(, w,X)=aRT. (al, w, X, )+BRT (B2,,w,X )(4 期的平均负载为λ,若r1=RT(λ,w,X)<SLA,,则租户订可减 在述性能模型中,函数RT,和Rr则通过 Chandra提出少资源反之,需要增加资源。若某台服务器至少有一个可以 的适用于非稳态队列的时域分析模型"确定,这里不再详述 减少资源的租户,则这台服务器为可调服务器。 最后,定义作为优化目标的效用函数U。资源效用度量服 (3)虚拟化技术将引入额外的资源开销,大量实验表明虚 务器资源的分配效果,在分配算法中作为启发式指标指导资拟化开销与虚拟机数量n成正比,即cos=m,其中为虚拟 源调整。支撑多租户数据库的虚拟机资源优化分配的目标是化开销某数,由后拟化基础设施决定。由于拟化开销,在每 用最少的资源满足所有租户的性能需求因此效用函数应该次资源调整时应先调整租户已有数据库副本所在虚拟机的资 包括租户SLA是否满足和资源使用量两个侧面的信息。资源源配置,再考虑新建虚拟机。虚拟化开销要均排到服务器各 效用函数可以定义为一个分段函数,即 个租户的资源配置上,因此,式(1)中还要考虑由于服务器j虚 拟化而引入的额外开销cost,,即 U=之z-1,c[lMlr1>SLA +Cost1≤1,j=1,2 (5) k,i∈[M,rl1sSLA 算法 输入:租户服务水平协议向量SLA,负载预测向量2 当存在租户i的平均响应时间r1没有达到SLA要求时, 输出:资源配置矩阵X 资源分配效用为负值,此时资源分配应以满足性能需求为导 Allocation(i 向,增大资源使用量提髙租广i数据库服务性能将促使资源效 1.设定初始配置矩阵X; 用随r的减小而增大;在所有租户的平均响应时间达到性能 2. X=Constraint(X, 需求后,资源分配效用为正值,此时资源分配应以减少资源使 3. X,-Optimization(Xo) 4. return Xo 用量提高资源效用为导向,继续增加资源会导致效用变小。 综上所述,DBaS多租户资源分配可以建模为在约束(1) Constraint( 和(2)下最大化(5)的问题。 6.for每个未标记租户t 32动态优化算法 7.for每个租户所在的可调服务器j 上述问题是一个NP难问题。为了求解此问题,本文基于 8.for服务器/上可减少资源的租户 以下前提: hile(true) (1)服务水平协议已知。正如上节所述,本文主要考虑性 以粒度σ増增加租户t的资源,减少租户i的资源 能方面的服务质量 得到配置矩阵X; △U=U(X1)-L(X) (2)数据库负载规模可预测。为了实现资源的按需分配, if△U=0 and rt>SLA2 and rt≤SLA1 假定各租户的数据库请求负载是可预测的,并假设数据库请 求负载符合泊松分布,数据库的处理能力服从负指数分布。 else ir△C′0andr≤SLA, and rt≤SL4 (3)数据库处理能力与资源分配量成正比。分配给虚拟 标记租户t性能需求已满足 机的系统资源可被租户数据库处理充分利用,尤其是内存资 源,可以通过配置数据库引擎的相关参数充分利用,按比例划 17 else if△U>0 return X 分系统资源即是划分服务器对数据库的处理能力。 18 else break (4)租户的单个数据应用的数据存储规模由一台虚拟机可 19 满足,即不考虑存在分库、分表等情况的大规模分布式数据库。 20.for每个可调服务器 21 N难问题当规模增大时会导致组合爆炸,一般通过启发 for服务器/上可减少资源的租户 在服务器上新建租户t的数据库副本,计算虚拟化开销 式搜索算法在解空间中寻找最优解,如爬山算法、贪心算法 23. while(true)i 等。上述NP难的问题的规模由租户和服务器数量以及资源 24. 以粒度σ增加租户t的资源,减少租户i资源 调整粒度决定。本文在性能模型和效用函数的基础上,基于得到配置矩阵x 贪心方式,提岀了·种寻找近似最优解的资源配置搜索算 25 △U=UX1)-U(X0); 法。算法分为约東和优化两个阶段,约東阶段以满足SLA为 if△U=0 and rt>SLA,and服务器j其他租户 目标,以贪心方式为每个性能需求未满足的租户增加资源,直的性能需求仍就满足 到满足SLA为止;优化阶段以优化资源使用量为目标,以贪心 XI=X 方式减少租户资源获得效用增量,直到资源效用不冉增加 else if△L=0andn!≤SL4,and服务器j其他租户 此外,在搜索过程中还引入了以下启发规则 的性能需求仍就满足 (1)若有M个租户,N台服务器(M<N),则初始解X的构 标记租户τ性能需求已满足; 造方法是在M台服务器上为每个租户各创建两个数据库副 else if AU>0 return Xo: 22 2011,47(27) Computer Engineering and Applications计算机工程与应用 else break 文所述系统在虚拟机资源优化分配方面的效果。在应用示例 中,将数据库即服务系统应用于全国科技信息服务网项日,面 向各科技情报单位提供科技信息数据库服务。应用示例的实 35.for每个空闲服务器f 验环境搭建在一个由8台服务器组成的集群上,每台服务器的 37. 在服务器上新建程户的数据库副本,计算虚拟化开销配置为 ntel PentiumD30 GHZ CPU和2GB内存,使用Xn while(服务器资源不为空){ 以粒度σ增加租户的资源,得到新酐置矩阼X 3.03作为虚拟資源控制层,虚拟机映像上预装 Centos5.4操 △U=U(X)-U(X); 作系统和 MySQL5.0.77数据管理系统,取Xen的虚拟化开销 if△C0 and rt≤SLA =10%,使用 Apache jmeter2.34模拟租户请求负载并实时 标记租户t性能需求已满足; 监控每个租户的性能指标。 为充分展示资源优化分配效果并不失一般性,在应用示 例中模拟为三个租户提供科技信息数据库服务,各租户数据 规模、性能需求以及服务器的平均处理能力如表1,表2示意了 45. return Xo 某个科技信息服务的操作类型及其出现的概率,在示例中设 定科技信息数据库服务的操作请求负载服从泊松分布。为应 Optimization()1 47.for每个可减少资源租户t{ 对租户负载的动态变化,数据库服务平台在24小时之内每两 while(true )i 小时进行一次资源分配,租户在每个分配周期的负载平均到 以粒度σ减少租户t的资源,产生一个新配置矩阵X 达速率如图3所示。 0 △U-U(X1)-U(X) 表1租户数据托管情况 if△U>0X=X1 else break 租户数据量GB性能需求/读操作处理能力写操作处理能力 (次min) /(次·min-) 873 35.4 B ≤1.5 55. return Ao; C l00 ≤1.5 58.7 19.2 56.} 在上述算法屮,约束阶段为了保证使用的服务器数量最 蓰2科技信息数据库服务操作负载分布 少,对于每个性能需求未满足的租户按照已有副木所在可调 操作类型概率(%)‖操作类型概率/%) 服务器(6~19行)、其他可调服务器(20~34行)和空闲服务器 少量读 少量更新 (35~46行)的顺序增加资源,直到其性能需求得到满足。同 大量读 大量插入 时,在调整的过程中不能影响其他租户的性能需求,如12、14、 少量插入 12.5 大量更新2 26和28行要考虑减少资源的租户性能需求是否满足。此外, 从表1可以看到,租户A、B和C的数据量分别为10(iB、25(iB 40行由于增加资源使用量而产生效用增量,17和31行在没有和100GB,平均响应时间要求小于1.5秒。在实验中,采用以下 增加资源使用量的情况下出现效用增量,说明所有租户性能三种资源分配方案,并且取参数a=10%,0=10%,0=5%。 需求已满足,资源效用变为正值。在优化阶段的每次资源调 方案1预分配共享方法 整时,减少租户的资源配置量优化资源效用(49~51行),当资 方案2基于服务器分配方法 源配置不能满足所有租户性能需求时,资源效用变为负值,不 方案3基于虚拟机分配方法 会产生效用增量,算法结東。在搜索算法中,资源调整粒度直 图4显示了上述三种资源分配方案在各个时间周期的效 接影响解空间大小,进而影响算法效率。若粒度为σ,一个租用。可以看到,可以看到方案3的资源分配效用要明显高J方 户的资源配置有M种可能故算法的复杂度为O(Mo))。案1和方案2,也就是说使用更少的资源就能满足所有租户需 求。此外,方案1的资源效用在租户SLA满足的情况下是 4实验与评价 50%,但由于在4、6和7时间周期会发生租户C对系统资源的 通过科技信息数据厍托管服务的实际应用示例来说明本劫持现象,导致租户A或B得不到满足,因而资源分配效用呈 100 一租户A 租户B 一租户C -60 一预分配共享方式 某于服务器分配方式 基于虚拟机分配方式 100 123456789101112 123456789101112 时间h 时间 图3租户负载变化图 图4总体资源分配效果 王卓昊,王希诚:面向托管的数据库即服务系统及资源优化技术 2011,47(27) 23 现出负值。实验表明本文提出的虚拟机资源动态优化分配方[2] Ashraf a, Deploying database appliances in the cloud[J. IEEE Da- 法,能够在满足租户性能需求的同时优化资源利用率,达到降 ta Engineering Bulletin, 2009, 32(1): 13-20 低用于行业数据应用托管的服务器资源成本的目的。 [3] Rogers J, Papaemmanouil O, Cetintemel U A generic auto-provi- sioning framework for cloud databases[C]//Proceedings of the 5th 5结束语 International Workshop on Self-Managing Database Systems March 2010 基于虚拟化技术,提出并设计了一种支持行业数据应用托 管、基于无共享架构的数据库即服务方法与系统,允许用户在公 [4] Soror A, Minhas U F, Aboulnaga A, et al. Automatic virtual ma- chine configuration for database workloads[J]. ACM Trans Data- 共的I基础设施之上利用虚拟机建立具有数据、性能隔离及可 base Syst,2010,35(1):7. 靠性保障的独立数据库及相关数据应用;同时重点针对该系统 [5 Rogers J, Olga P, Cetintemel UA generic auto-provisioning frame 屮面向租户的虚拟机资源动态优化这一核心问题,建立了计算 work for cloud databases[ C]/Proc of the 26th IntI Conf on 特定系统资源配置下数据库服务性能旳性能模型,以及从资源 Data Enginccring(ICDE 2010).Washington: IEEE Computcr Soci 使用量和性能需求是否满足两方面度量资源分配效果的效用函 ety,2010:63-68 数,并在基础上给出了一种根据租户数据请求负载并采用贪心[6] Chong f, Carraro G Multi-tenant data architecture[EB/OL](2006) 方式的虚拟机资源动态优化算法。此外,还结合全国科技信息 http://msdn.microsoft.com/en-uls/library/aa479086.aspx 服务网项目中面向基层科技部门提供数据托管服务的实际应用[7]林海略,韩燕波多租户应用的性能管理关键问题研究[计算机 需求对相关研究结果进行了∫验证。科技信息服务数据库托管应 学报,2010,3310):1881-1895 用示例及实验表明,提出的方法能够根据各个租户的负载确定8 enon S Allocating fragments in distributed databases正eE 虚拟机資源的分配方案,满足其性能需求同时优化资源使用量, Trans Parallel Distrib Syst, 2005, 16(7): 577-585 达到提高系统资源利用率降低成本的日的。所述方法针对以副9 HelalA, Yuan d, El-Rewini H Dynamic data reallocation for 本方式提供的数据库服务,具有保持关系数据库特性和增强数 skew management in shared-nothing parallel databases[J]. Distrib uted and Parallel Databases, 1997, 5(3): 271-288 据库服务可用性的特点,缺点是在数据规模扩展性方面的支持 [10 Menon S Allocating fragments in distributed databases[].IEEF 有限。下一步工作是针对基于分片方式构造的数据库服务,研 Trans Parallel Distrib Syst, 2005, 16(7): 577-585 究其关系操作性能优化以及相应的资源分配方法。 [11] Chandra A, Gong W, Shenoy P Dynamic resource allocation for shared data centers using online measurements[c]/Proc of the 参考文献: Int'I Conf on Measurements and Modeling of Computer Sys 中m韩燕波互联网计算的原理与实践队北京科学出版社,20 tems sigmetrics 2003. New York: ACM Press, 2003: 300-301 (上接7页) plications to face recognition[J]. Pattern Recognition, 2010, 43(1) 331-341 6结论 [8] Sha F, Lin Y, Saul l K, et al. Multiplicative updates for nonnega 基于稀疏表示理论提出了一种有向非负P图,并将其应 tive quadratic programming[J]. Neural Computation, 2007, 19 (8): 用到谱聚类中。对丁非负l图的相似度矩阵的构造,提出了 2004-2031 种简单的乘性迭代算法。手写字符数据库的实验结果表 [9 Lee D, Seung H S Learning the parts of objects by non-nega tive matrix factorization[J Nature. 1999.401: 788-791 明,非负图在计算时间、聚类AC和聚类NMI上优于l图 °[10]史加荣,焦李成,尚凡华.不完全非负矩阵分解的加速算法[门电 非负l图的核化以及半监督情形的推广仍值得进一步研究。 子学报,2011,39(2):291-295 [1l王亚芳邻域保持判别非负矩阵分解J计算机工程与应用,2010 参考文献 46(28):163-166 ]蔡晓妍,戴冠中,杨黎斌谱聚类算法综述门计算机科学,2008,3512]何光辉张太平保持拓扑性非负矩阵分解法在人脸识别的应用小 (7):14-18 计算机工程与应用,2010,46(14):202-204. [2]戴月明,高倩.自适应半监督模糊谱聚类算法门计算机工程与应「13] Hoyer P C. Non-negative sparse coding[C]/Proceedings of the 用,2010,46(33):212-214 12th IEEE Workshop on Neural Networks for Signal Process [3] Yan S, Xu D, Zhang B, et al. Graph embedding and extensions: A ing,2002:557-565 general framework for dimensionality reduction[J]. IEEE Transac- [14] DingC H Q, Tao L, Jordan M I. Convex and semi-nonnega tions on Pattern Analysis and Machine Intelligence, 2007, 29(1) tive matrix factorizations JJ.IEEE Transactions on Pattern Anal 40-51 ysis and Machine Intelligence, 2010, 32(1): 45-55. [4]曾宪华,罗四维全局保持的流形学习算法对比研究叭计算机工[15 Roweis s t, Saul I. K nonlinear dimensionality reduction by lo 程与应用,2010,46(15):1-6 cally linear embedding[J]. Science, 2000, 290(5500): 2323-2326 [5]Cheng B, Yang J, Yan S, et al. Learning with /graph for image [16] Wang F, Zhang C Label propagation through linear neighbo analysis[J].IEEE Transactions on Image Processing, 2010, 19(4) hoods J]. IEEE Transactions on Knowledge and Data Engineer 58-866 g.2008,20(1):5567 [6] Wright J, Yang A, Sastry S, ct al. Robust facc rccognition via sparsc [17] Figueiredo M a T, Nowak R D, Wrights JGradient projec- representation[J] IEEE Transactions on Pattern Analysis and Ma tion for sparsc reconstruction: application to compresscd scns- chine Intelligence, 2009,31(2): 210-227 ing and other inverse problems.IEEE Journal of Selected Top [7 Qiao L, Chen S, Tan X Sparsity preserving projections with ap ics in Signal Processing, 2007. 1(4): 586-597

...展开详情
试读 5P 论文研究-量子遗传算法优化神经网络的MIMO-OFDM检测研究.pdf
立即下载 低至0.43元/次 身份认证VIP会员低至7折
抢沙发
一个资源只可评论一次,评论内容不能少于5个字
weixin_38744207 欢迎大家使用并留下宝贵意见
2019-09-08
  • 至尊王者

    成功上传501个资源即可获取
关注 私信 TA的资源
上传资源赚积分or赚钱
最新推荐
论文研究-量子遗传算法优化神经网络的MIMO-OFDM检测研究.pdf 9积分/C币 立即下载
1/5
论文研究-量子遗传算法优化神经网络的MIMO-OFDM检测研究.pdf第1页

试读结束, 可继续读1页

9积分/C币 立即下载 >