论文研究-薄板样条函数在空间数据插值中的应用.pdf

所需积分/C币:10 2019-09-13 07:03:48 975KB .PDF
收藏 收藏
举报

大规模在线课程系统需要大量资源作支撑。资源使用的动态性及租用的固定性导致资源被浪费。将“非专用”思想应用于系统,可整体降低资源租用量。首先通过马尔可夫“生灭”过程预测资源状态,筛选出“非专用”资源;接着建立查询期望代价矩阵,使用A-MM(Adaptive Min-Min and Max-Min)算法进行自适应查询处理;最后实验表明,预测错误率低,性能稳定;A-MM有较好执行效率和平衡负载能力。
2462009,45(36) Computer Engineering and Applications计算机工程与应用 查询过程中,假设执行从CPU处理到内存缓存,到网络ⅣO发 定义9QEC查询期望代价。QEC(i,)为子查询任务Q(i) 送总共消耗时间为一个t,后资源是“非专用”或“专用”态,直在资源R()上的资源耗费比例: 接影响远程査询的执行质量,这就需要实时动态预测资源的下 QEC(i,j)=x *N cost(i,j)+B*work_load(i,j) (14) 步状态,为远程调度查询筛选出“非专用”资源。 其中,X+β=1,权值可根据各性能相关性静态取值,也可根据用 定义8资源的服务器、CPU、内存、带宽状态空间为S=户需求动态调整 0,1},“1”表示服务器为“专用”状态;“0”表示服务器为“非专 N cost(ij)为子查询i在资源j上带宽耗费值 用”状态 Ncos(,)=执行查询需占用带宽r量 (15) 取判定资源状态的静态阈值为70%,动态阈值暂时不作讨论。 资源j现存带宽r量 用X(t)表示t时间服务器的状态。假设非专用资源,A为 执行查询i所需占用单元数可根据文件大小和传输协议 单位时间间隔内资源状态是“非专用”的概率,n为单位时间间获得; 隔内资源状态是“专用”的概率。其状态转移具有马尔可夫性四, work load(ij)为执行查询i在资源j上服务器资源耗费比 则{x(1),t≥0为马尔可夫链。其转移概率如图2: work oac j)=∑c1*mrkl oac( l C (16) 1-At work load(i,j,k)分别代表资源j的CPU、内存、服务器负载耗 费比。 表5为查询队列Q1,Q2,…,Q3对资源R1的资源耗费比。 其中查询队列所占的各资源属性耗费量为4×5阶随机矩阵,R 图2状态转移概率分布 为1×4阶随机矩阵,通过公式(16)得到表1。同样方法,可以得 由已知模型可知: 到其他任务在R2、R3、R4中占的资源耗费比表。 Por(t=Atto(t) (1) 表1查询队列与R1的耗费比 Po(t=utto(h) 从而得到转移概率矩阵 CPU耗费0.21740.30430.86961.04352.8696 内存耗费0.13950.20930.76740.65121.5814 (3) Server耗费0.03220.03220.03220.03230.0323 Net耗费0.10770.13850.52310.47691.5077 由向后方程: P'oo(D1-A A) Po(D) 表2QEC矩阵 (4 P'10(t) 几P0(t) R 且P(0)=1,简化后有 Q10.11260.06630.1330.0681 uPon(t)+AP,o(t)=0 (5) Q20.13320.08740.14850.0895 显然初始条件为:P'(0)=1,P(0)=0,数据服务器初始处于“非 Q30.46500.31330.54100.3233 Q40.44250.29250.50240.3001 专用”状态: Q51.30910.87701.53060.9051 PO0(t)-+AP0(t)=0 于是有 表2为查询任务和资源组建的QEC矩阵,QEC(1,1)通过 P0(t)+(A+)P0(t) (7 公式(14)计算过程如下:设x=0.6,B=0.4,同时a1、a2、a3值分别 Po(0)=1 为0.3、0.3、0.4,则 使用常系数法,解得: work load(1,1)=0.3*0.2174+0.3*0.1395+04*00322=0.12 (8) QEC(1,1)=0.6*0.1077+04*0.12=0.1126 QEC(1,1)代表查询Q1在资源R1的查询期望代价,其值 入 (9)越大,说明资源处理这个请求付出的负载代价越大。同理可以 A+u A+u 获得其他查询任务和资源的查询期望代价。 =(1)0J 10 在制定查询调度计划时既要找到消耗代价最小的资源,同 A+u A+u 时又要考虑各个资源的负载均衡。在以往工作中10,M P1(t)= 次-(A+ (11)是一种执行效率高,执行速度快,被广泛应用的算法,但在资源 再由P0)=P(X(0)=0)=1得资源服务器t瞬时态为 性能波动比较大的环境下会出现负载不均衡现象,该文使用 P(1)=P0)P0(t)=+A-4 A-MM算法处理QEC矩阵,将Max-Min算法的负载均衡性融 (12 入到Min-Min高效性中,提高整体算法效率。 P(1)=P(t)=A-A 5实验结果 使用马尔可夫“生灭”过程预测资源状态实验,参考5.1节。5.1资源状态预测 42自适应查询调度优化算法 为验证马尔可夫链生灭过程预测资源状态准确性。建立以 通过预测得到“非专用”状态资源后,为远程任务制定最佳下实验模型:(1)μ为单位时间间隔内资源状态是“非专用” 查询调度方案。 和“专用”的概率,这里将状态出现概率描述为同分布于指数分 侯勇,吾守尔.斯拉木,吐尔根伊布拉音,等:大规模在线课程非专用资源预测与查询调度2009,45(36)247 (1) Get querylists[sublist(1), sublist(2),…, sublist(n)];∥查询队列 马尔可夫预测错误率 (2) For(k=1; k++; k<querylists +预测错误率」 (3) Send values of sublist(k )to portal database (4) Get all url lists of sublists(k);/裘得查询k的ur; (5) For (i=0; i++;i<url list (6) Get Qik= ERcp(ik), INmemory(i),QRod(话), ERnet(话;远 程任务Qa的资源消耗量 (7)GetR=[Rcpu(i), Memory(i),Rod(i),Rnet(i);合查询要 0.8 求的资源各属性资源量 (8) Get non-dedicated urllist through predictor;资源状态预测,筛 0.4 选出非专用资源 7(200t为—T) (9) Get QEC(i,k) through formula(14);/建立QEC矩阵 图5200个t为一单元预测误差均值 (10 End (11)Map(A-MM(QEC),∥执行A-MM算法 马尔可夫预测错误率 (12)End; *预测错误率 图3A-MM算法在全局查询中的应用 1.4 1.2 布;(2)时间单元t,每个单元值为1;(3)资源状态转换次数为 1.0 20次;(4)分别使用公式(12)~(13)和公式(8)~(11)进行预测。 灵0.8 定义10t-t1时间段t内CPU预测误差率定义为 0.4 0. ICPU(i)gobo l) doall Errorcpu= (17) 090100 T(20t为—T) ∑CPU(i)he 图620个t为一单元预测误差均值 其中,CPU(i)为时刻i的资源状态值,0为非专用态,1为专 表3预测算法稳定性表 用态;CPU(i)d为预测的资源状态,0为非专用态,1为专用态 如图4,实验随机取值,λμ值分别为0.8、0.55,扩展系数 0.75 0.65 0.450.25 为100,整个实验的时间t总量为2635,取[1,100间数据进 0. 0.35 0.55 0.75 行对比,测得1000单元内预测错误个数为12: Error Cpu= Eror/(%)1.78822.71201.54272.0767 (12/1000=1.2%,所以对资源预测的误差为1.2%。 资源下情况。 1.0 马尔可夫预测 (1)建立“非专用”状态资源队列R={R1,R2,…,R4};R4 0.8 Rcpu(k), Memory(k),Road(k),Rne(k],k=4,资源剩余量 为一在0,300间随机取值的4×4矩阵; ※0.5」 (2)建立远程查询队列Q={Q1,Q2,…,Q3},Q=[ QRcpu(i), 0.4 QRmemory(i), ONload(i), ORnet(i),=5,查询资源消耗量为在 0,30间取值的5×4维矩阵; (3)根据步骤(1)、(2),通过公式(14)计算并建立5×4维 500 1000 1500 2500 QEC矩阵 图4资源状态转换图和马尔可夫预测 (4)使用A-MM、Min-Min和Max-Min算法对同一QEC进 行运算,得出计算结果。 图4由下向上第二、三条直线“eexl”分别是资源的非专用 定义11资源i的资源负载耗费系数 和专用状态持续时间;第一、四条“sq”由“+”组成的线是通过公 式(8)~(11)预测得到的点,说明状态转移公式基本能够根据第 TR()=max(∑Qa (18) 、三条线的历史记录预测出下一步资源的状态;最上方由很 e=I Rs(i) 多“◇”组成的线sque,是通过公式(12)、(13)预测而得,可知Rs()为资源i的原有资源,∑Qa为在资源i上执行的所有查 利用瞬时态公式很难从初始点出发,预测出将来各个时间点 的值 询消耗总和。 图5、图6为不同时间段的预测误差值,其误差值均低于 定义12系统总体负载消耗系数: 2%,预测性能比较稳定。表3为λμ不同取值的预测误差,实 makeload=max(TR (19) 验假设同样条件下4个不同概率分布的场景S1,S2,S3,S} mahlon值越小说明系统整体负载越小,算法将请求分配到资 通过对预测横向、纵向比较后可知,使用马尔可夫方程可以比源负载轻的资源上,保持了系统平衡。 较好地预测资源状态。 图7、图8分别为A-MM、Min-Ⅵin和Max-Min在4资 5.2自适应查询结果 源、5任务,20资源、100任务,10次随机实验中的取值对比。从 下面评测查询调度算法,实验只考察远程查询在“非专用”图7,图8中可知,代表A-MM的点始终在其他两种算法下方, 2482009,45(36) Computer Engineering and Applications计算机工程与应用 A-MM在QEC中应用 参考文献 -e-Min-Min [1 Preston J A, Booth L, Chastise J Improving learning and creating Max-Min community in online courses via MMOG technology [J].IEEE Trans 0.8 onl Computers,2002,51(9):1041-1055 0.6 2 Carson S2004 MIT OCW program evaluation findings report EB/ 0.4 Ol].(2005).http://ocw.mit.edu/ocwWeb/global/aBoutocw/evaluation htm/ 3 Preston J, Booth L, Chastine J Improving learning and creating com 678910 场景 munity in online courses via MMOG technology[ C]//Proceedings of 图7查询调度算法比较 the 35th SIGCSE Technical Symposium. Norfolk, VA: ACM Press 1.5 2004 A-MM -eMin-M 4 Nae V, losup A, Prodan R, et al. Efficient management of data cen- *Max-Min 1.0 ter resources for massively multiplayer online games [C]/Interna tional Conference on High Performance Computing, Networking, Storage and Analysis. [S 1: IEEE Computer Society Press, 2008 0.5 [5 Hou Yong, Wo Xur, Zhao Hong. A new heuristic metatask schedul- ing algorithm based on choosing Qos policy mechanism[J]. Interna- tion Journal of Distributed Sensor Networks, 2009.5(1): 93-98 场景 16 Zhao C, Cao J, Wu H, et al. Handbook of research on P2P and grid 图8查询调度算法比较 systems for service -oriented computing: Models [M/Methodologi les and Applications [S.I. ] IGI Publishing, 2009 或和最小的一个值相同,说明10种场景下A-MM的 makela(7]林元烈随机应用过程M5版北京:清华大学出版社,200:028 较其他算法低,整个系统的平衡负载较低。 244 [8 Zhou Y L, Ooi B C, Tan K, et al. An adaptable distributed query 6结束语 processing architecture[J]. Data Knowledge Engineering, 2005, 53 (3):283-309 MOOO已得到广泛应用,如何降低资源租用量是个热点问91 Blythe J, Jain s, Deelman, et al. task scheduling strategies for 题。在阐述 NMOOC体系结构基础上对NAQP建模,提出使用 workflow based applications in grids cluster computing and the 马尔可夫“生灭”过程预测资源状态,提出基于资源耗费比概念 grid[J].CCGrid, 2005(2): 759-767 的QEC矩阵,使用A-MM算法制定查询调度计划,大量实验10 Hou Yong, Yu Jiong, Turun NDA-MM: A new adaptive task schedul 显示预测、查询调度结果理想、合理。但是,确定资源状态的阈 ing algorithm based on the non-dedicated constraint grid [Cyl IEEE Transactions on Sixth International Conference on grid and 值和确定资源性能属性的权值都是静态值,虽然提岀了动态解 Cooperative Computing, Urumqi, China, 2007: 275-281 决办法,但是还没有得到验证,接下来的工作将主要集中在以11朱晓娜,李先贤,李沁面向服务网格的虚拟环境部署运行管理系 上问题 统机计算机工程与应用,2007,43(36):124-128 (上接107页) routing for LEO satellite networks[ C]/proceedings of IEEE Inter 2] Huang Q,Yeo B S, Kong P Y A routing algorithm to provide end national Workshop on High Performance Switching and Routing to-end delay guarantee in low earth orbit satellite networks[Cyl HPSR2005, Hong Kong, China, 2005: 386-390 Proceedings of IEEE 59th Vehicular Technology Conference, Milan [7 Tarik T, Daisuke M, Abbas JELB: An explicit load balancing rout Italy,,2004,5:2911-2915 Ing protocol fo ulti-hop NGEo satellite network[ C]/Proceedings [3] Huang Q, Yeo B S, Kong P Y. An enhanced QoS routing algorithm of ieee 2006 Global Telecommunications Conference globecom for provision of end-to -end delay guarantee in low earth orbit 2006. San Francisco, USA. 2006:1-5 satellite networks[ C]/Proceedings of 2005 IEEE Wireless Commu-[8 Xu Hui, Huang Fei, Wu Shi-qi. a distributed Qos routing based on nications and Networking Conference, New Orleans, USA, 2005, 3 ant algorithm for LEO satellite network[J]Journal of Electronics 1485-1490. ( China),2007,24:765-771 [4] Kim Y C, Lee D E, Lee B J Dynamic channel reservation based [9] Ahn C W, Ramakrishna R S.A genetic algorithm for shortest path on mobility in wireless ATM networks[J.IEEE Communication Mag- routing problem and the sizing of populations[J]. IEEE Transactions aine,1999,37:47-51. on Evolutionary Computation, 2002, 6: 566-579 [5] Svigelj A, Mohorcic M, Kandus G Routing in ISL networks consid- [10] Bai Jian-jun, Lu Xi-cheng, Lu Ze-xin, et al. a distributed hierar- ering empirical IP traffic JH.IEEE Journal on Selected eas In Com- chical routing protocol for non-GEO satellite network [C/pro- munications. 2004. 22: 261-272 ceedings of International Conference on Parallel Processing Work 16 Bai Jian-jun, Lu Xi-cheng, Lu Ze-xin Compact explicit multi-path shops, ICPPW 04, Montreal, Canada, 2004 148-155

...展开详情
试读 5P 论文研究-薄板样条函数在空间数据插值中的应用.pdf
立即下载 低至0.43元/次 身份认证VIP会员低至7折
抢沙发
一个资源只可评论一次,评论内容不能少于5个字
weixin_38743481 欢迎大家使用并留下宝贵意见
2019-09-13
  • 至尊王者

    成功上传501个资源即可获取
关注 私信 TA的资源
上传资源赚积分,得勋章
最新推荐
论文研究-薄板样条函数在空间数据插值中的应用.pdf 10积分/C币 立即下载
1/5
论文研究-薄板样条函数在空间数据插值中的应用.pdf第1页

试读结束, 可继续读1页

10积分/C币 立即下载 >