下载  >  开发技术  >  其它  > 论文研究-一种基于OpenStack的云用量采集模型 .pdf

论文研究-一种基于OpenStack的云用量采集模型 .pdf 评分

一种基于OpenStack的云用量采集模型,孙福全,宋茂强,本文提出了一种面向云环境的虚拟机用量数据采集模型,它可以采集基于OpenStack云环境中虚拟机用量信息。文章首先介绍了用量采集模型��
山国武花论文在丝 憾盘、网卡、内存和的热插拔操作。在宿主机上运行 所有的功能 就都可以访问和使用,远程机器支持多种网络远程传输,使用方式,不需要额外的配 置工作。存储管理包括创建不同格式的文件映像、挂接共享、列出现有的卷组、 创建新的卷组和逻辑卷、对未处理过的磁盘设备分区、挂接共亨,而这些操作 都是可以通过远程主机使用来完成的。网络接口管理包括列出现有的接口卡,配置、创建接 口,以及桥接、和关联设备等。同时可以用来管理和创建虚拟网络,虚拟网络使 用防火墙规则作为路由器,让虚拟机可以透明访问主机的网络。 应用框架技术 应用主要实现对数据的传输通信,并不涉及到复杂的逻辑处理,界面实现,因此在 选择应用框架时定位于框架的轻量级上。 主要目标是开发复杂的、数据库驱动 的网站变简单,不适用于系统应用的需求。而 等其他框架都是 复杂的开发框架,功能较强大,提供很多的不同组件,适用于开发大型网站类应用 而 是一套非常简单的框架,不过并不是非常简洁。只提供开发框架而没有其 他东西,但是内部做了对流行的 和模板系统的导入引用。 的轻量级满足采集 系统对数据传输模块的要求,在系统的运行中可以降低系统的资源使用,提高系统的使用效 模型设计 模型的网络拓扑 M1 VM2 Send request Collect data Provide service User Run VM3 Usage collection Software Host machines 图用量禾集模型的网终拓扑 用量采集模型以探针的形式运行在云环中的每台宿主机上,采用后台进程监听的形式对 宿辶机的虚拟机进行监控,每台宿主机的采集模型向外提供接口,采集的性能数据可以通过 接口传送给计费服务器或其他分析应用程序使用,完成用量采集模型的任务。 模型的总体架构 系统的总体结构和各模块的功能如下所述。 山国武技论文在丝 代理节点层 代理节点 代理节点 代理节点 应用接口层 薮据通信,采集餮控制 ---- 数据存储层 数据库存储,数据压缩 平台应用层 虚机虚机机 后台服务层|数据采集进程,监控进程 监督者 物理机 物埋层 图系统总体架构 用量采集系统主要有三个层构成,分别是物理层,平台应用层,代理节点层,其中代理 节点层又分为应用接口层,数据存储层和后台服务层。 物理层负责对整个云环境提供基础设施服务,为云环境的运行提供宿主机,网终连接和 负载均衡等服务。 平台应用层位于物理层之上,半台应用层架改在宿主机的物理层上,它搭载着 云平台,可以管理由物理机组成的云环境,并为用户提供虚拟机以供其使用。 代理节点层与平台应用层同样位于物理层之上,它与平台应用层的父互,使得代理结点 可以实现用量信息采集的功能。代理节点层中的后台服务层可以对平台应用层中的虚拟机进 行用量数据采集。 后台服务层将采集的数据传输到数据存储层中,并进行用量信息的保存;应用接口层提 供了数据存储层的汸问方式,可以连接数据存储层获得采集数据,同时可以对后台服务层进 行控制配置,通过接口形式的定义,第三方应用可以调用应用接口,实现系统的功能的控制, 应用接口层的实现提高了系统的扩展性和维护性 采集模型数据结构 云环境中的虚拟机的性能由许多因素所决定,各种因素对虚拟机的影响程度是不同的, 它们之间相互影响的关系也很难确定。为了解决这种问题,我们提出了一个性能数据结构用 来衡量所有因素对虚拟机性能的影响 数据结构可以按如下解释。在云环境有人量的虚拟机,每台宿主机都部署一定数量的虚 拟机,性能薮据结枃由虚拟机的性能数据组成,该结构包括个相关属性,分别是虚拟机 仝球唯一标识符(),时间戳 利用率,内存利用率,磁盘名,磁盘利用率,磁 盘读速率,磁盘写速率,磁盘总大小,网卡名,网络上传总量,网终上传速率,网络下载总 量,网络下载速率。通过数据挖掘,我们可以发现各属性问的关联关系。通过比较采集到的 各属性数据,可以获知虚拟机目前的运行状态,以便进行资源配置和虚拟机的动态管理。 表采集模型数据结构 属性 信息 字节,虚拟机唯一标识符 山国武技论文在丝 时间戳 单位为秒 利用率 利用的百分比 内存利用率 内存利用的百分比 磁盘名 虚拟机的磁盘名 磁盘利用率 磁盘利用的百分比 磁盘读速率 单位为字节秒 磁盘写速率 单位为字节秒 磁盘容量 单位为字节 网卡名 虚拟机的网卡名 网卡上传量 单位为字节 网卡上传速率 单位为字节秒 网卡下载量 单位为字节 网卡下载速率 单位为字节秒 采集系统工作流程 云环境的层由大量的服务器构成,每台服务器中拥有一定量的虚拟机。在云环境 中首先将数据采集模型装载到服务器中,每台服务器郗要裝载数据采集模型。廾启数据采集 模型,运行守护进程,对其所在的宿主机进行虚拟机监听,当探测到虚拟机处于活动状态时, 守护进程使用线程获得活动的虚拟杋实例的性能教据,并将汏得的初始数据存入数据斥中, 此时监控进程在对数据采集进程进行监控,监测其是否处于止常的运行状态,如果处于非上 常状态,就将向后台管理员发出报警信息;当宿主机中的多个虚拟机同时处于活动状态时, 数据采集进程将对每一个虚拟机实例配置一个线程,逐个的对虚拟机进行处理;采集后的数 据存储在数据库中,当其他系统需要这些数据中,数据通信模块从数据库中读取出,并把他 们经过数据压缩处理,发送到相应虚拟机管理系统或计费系统。数据采集工作流稈如图 所示 在宿主机上装载 数据采集模型 钏开启数据采集模型 模型是否开后二 监控进程监测守护 据采集模型监 虚担机实伫 护併程是西 拟机是否处 --正常 ~后动状态 通信模块处临听 采集虚拟机实例性 能效据 一系统是否请 数据"Y 数据库 通信模块将数据压 发数据 图采集模型「作流程 山国武花论文在丝 云用量采集模型的模块功能与设计 模型总体功能结构 用量信息采集系统的功能结构图如图所示。系统按层次结构分为物理层,代理结点层 和平台应用层,代理结点层又分为后台服务层,数据存储层和应用接凵层。在每个层次中都 有各个的功能,物理层需要实现操作系统,函数库文件等软件的提供,平台应用层提供平台 管理软件,实现云环境的虚拟杌管理,包括虚拟机的创建,虚拟机的删除,虚拟机的暂停, 虚拟机的挂载和虚拟机的配置等功能;后台服务层包括用量信息的采集,日志文件跟孫,后 台进稈监听的功能;数据存储层实现采集数据的存储管理,以及数据的压缩功能,提供 应用框架接口;应用接口层提供冋第三方应用服务的接口,接口包括采集数据传输,采 集器的控制等功能。 基于 penStock的云 用量采集模型 物理层 平台应用层 代里结点层 虚虚 机机 系 配 后台服务层 数据存储层 应用接 除 层 数据储管理 数 据格 压通 跟监管 缩伺|封 控 图采集模型总体功能结构 模型的模块设计 模型的模块分为云用量釆集模块,守护进程模块,数据通信模玦和数据存储模块。 云用量采集模块 云用量采集模块是整个采集模型最重要的部份,它负责采集虚拟机运行时的性能数据, 并对虛拟机的运行状态进行监控。在我们的设计里,我们应用了开源的 在云环境中 使用拟化技术创建的虚拟机,我们可以通过使用 获得虚拟机在某一时刻 运行时的,内存,磁盘,网络等的实时信息数据。组件使用了 本地库中 的队列,线程等,当数据采集组件运行时,它首先监控云环境中虚拟机的运行状态,如果虚 拟机处于活动状态,数据采集组件就会获得该虚拟机,然后为每一台虚拟机开启一个线程, 调用 获得该虚拟机活动状态的初始数据,经过数据处理后就成为所需获得的监控 结果 山国武花论文在丝 守护进程模块 守护进程以高级用户的优先控制名称设置为问号、终端前台进程组设置为除 以外的所有守护进程都是组的首进程,对话期的首进程,是这些进程组和对话期中 的唯进程的守护进程的父进程都是进程 守扩进程最重要的特性是后台运行。其次,守扩进程与其运行前的环境隔离开米。这些 环境包括未关闭的文件描述符,控制终端,会话和进程组,工作目汞以及文件创建抢模等。 这些环境通常是守护进程从执行它的父进程中继承下来的,守护进程的启动方式有其特殊之 处。它可以在系统启动时从启动脚本 中启动,可以由作业规划进程启动,还 可以由用户终端执行。守护进稈创建如图所示。 清除文作创建杈限 调用fork,父进程 退出 调用 setid以创建 个新的会话 切换工作日录 关闭不需要的文件 描述符 图守扩进程创建流程 数据通信模块 数据通信模块是用于提供数据的通信接口,将采集到的数据发送到其他系统,供其分析 计算。数据通信采用 框架, 框架使用 实现,它利用 思想 提供稈序接口,为客户端提供便捷的调用方式。在模块中将数据封装成 格式,简化 数据传输格式。数据通信模块为系统应用扩展了接口,为采集数据的传输应用提供了可能。 数据存储模块 数据存储模块分为数据存储和数据压缩两方面功能。数据存储是为采集用量进行数据库 数据的操作执行。数据压缩是将采集到的数据分为两部分,·部分为非变动数据,另一部分 为变动数据。对采集的数据进行检测,检测的目标是针对数据的冗余,当发现薮据的冗余情 况到达检测的标准时,把该冗余的数据项分割加入到非变动数据项中,并加入时间段项,表 明该段时间内冗余数据项和非变动数据的采集结果被压缩,把压缩后的数据以一条数据信息 山国武花论文在丝 格式存储在数据库中,以供需要吋使用。同吋对变动的数据项集中统,将每次采集结果存 储在数据库中。在其他系统或程序需要采集信息时,分别将非变动数据信息和与它对应的变 动的数据信息发送岀去。以这和形式发送的数据信息,非变动数据项和变动数据项会根据采 集数据结果而发生变化,而总的数据项是不变的,这样做在保证采集数据不失真的情况下, 压缩传输数据量,实现了无损的数据压缩。 结论 本文给山了基于 云用量采集模型,在模型中我们采集了虚拟机活动状态吋的 数据,并将数据进行压缩以减少通信数据量,有助于数据的整体分析,采集数据守扩进程保 证采集程序独立髙效的运行,进程监控程序确保了采集数据系统的服务质量,通信模垬为以 斤的扩展程序提供了接口,有助于数据精确有效的传输,整个模型在合理规划的设计下,不 仅达到功能要求,更能保证稳定高效的服务,模型的应用有着更加广泛的扩展性ε。一些研究 口经表明云环境虚拟机的管是困难的,而本文实现了云环境性能数据的采集,解决了云服 务提供商监控虚拟机的运行状态并管理虚拟机的重要问题。 参考文献 吴朱化云汁算核心技术剖析北京:人民电出版社,

...展开详情
所需积分/C币:6 上传时间:2019-08-17 资源大小:489KB
举报 举报 收藏 收藏
分享 分享
论文研究-一种改进的Otsu算法研究 .pdf

一种改进的Otsu算法研究,李冰玉,彭利标, Otsu(最大类间方差)算法的一些优秀性质使得它在许多不同的图像分割系统中得到非常广泛的应用,该算法运算量不大,在一定条件下�

立即下载
论文研究-一种改进的S-MAC协议 .pdf

一种改进的S-MAC协议,周富生,陈伟,本文首先简单介绍了无线传感器网络,之后给出了无线传感器网络S-MAC协议的一种改进思路,并通过使用NS2进行仿真,验证了协议改进的�

立即下载
论文研究-一种新的改进粒子群算法研究 .pdf

一种新的改进粒子群算法研究,马金玲,唐普英,研究粒子群优化算法(PSO)的收敛速度,以提高该算法性能是PSO的一个重要而且有意义的研究。Jun Sun 等人通过对PSO系统下的单个个体在�

立即下载
论文研究-一种轮廓跟踪的UPF方法 .pdf

一种轮廓跟踪的UPF方法,袁健,张文霞,针对通用目标轮廓跟踪中CONDENSATION 粒子算法的不足,提出一种轮廓跟踪的UPF方法。通过将Unscented 卡尔曼滤波器与粒子滤波的结合,并实�

立即下载
论文研究-一种对称MMSE的改进算法 .pdf

一种对称MMSE的改进算法,陶涛,,本文分析讨论了时域均衡器最小均方误差(MMSE)算法原理、特点及运算复杂度,并在次基础上提出了一种新的改进算法,使MMSE矩阵计算�

立即下载
论文研究-一种提高多普勒精度的方法 .pdf

一种提高多普勒精度的方法,廖卓,,全球定位卫星系统(GNSS)的速度测量在高动态运动环境下具有重要意义。接收机跟踪环路提供的多普勒频移是用户速度求解的重要观测��

立即下载
论文研究-一种LDO稳压器芯片的研究与设计 .pdf

一种LDO稳压器芯片的研究与设计,于飞,邹锦华,设计出一种适合便携式电子产品应用的LDO(Low-dropout voltage regulator)稳压器芯片。相比于传统的LDO稳压器芯片,新的设计在误差放大器与�

立即下载
论文研究-一种新型SQL注入攻击的研究与防范 .pdf

一种新型SQL注入攻击的研究与防范,赵阳,郭玉翠,针对一种以HTTP Headers为途径的新型SQL注入攻击进行了深入研究。通过分析具体的SQL注入实例,揭示了该新型SQL注入攻击的原理,并提出了针�

立即下载
论文研究-一种嵌入式视频监控系统 .pdf

一种嵌入式视频监控系统,刘冬,,当前有不少视频监控系统是基于GSPCA开发的,它们存在不能在本地显示视频,缺乏移动检测等图像处理功能,对于存储空间要求高等缺点�

立即下载
论文研究-一种改进的加权质心定位算法 .pdf

一种改进的加权质心定位算法,杨路,刘慧珍,无线传感网络定位算法中,节点在测量距离时受到外部环境干扰导致RSSI值大幅度波动,影响定位精度。通过对阴影模型的研究发现,节��

立即下载
论文研究-一种改进的增强型AdaBoost算法 .pdf

一种改进的增强型AdaBoost算法,李文辉,倪洪印,本文分析了传统的Adaboost算法在训练过程中可能出现的退化问题以及目标类权重分布出现过适应的现象,文章提出了一种改进的Adaboost算��

立即下载
论文研究-一种新型的LDPC译码器设计 .pdf

一种新型的LDPC译码器设计,钟贵锋,李庆,摘要:性能逼近Shannon限的低密度奇偶校验(Low-Density Parity-Check, LDPC) 纠错码,在实际应用中需要解决的问题是尽可能降低译码的复杂度。��

立即下载
论文研究-一种罗特曼透镜波束形成网络设计 .pdf

一种罗特曼透镜波束形成网络设计,曹扬,陈鹏,本文设计了一种基于等光程原理的罗特曼透镜波束形成网络。该波束形成网络中心频率20GHz,具有15个输入口,16个输出口以及4个虚端口��

立即下载
论文研究-一种基于k-means的分布式k-anonymity算法 .pdf

一种基于k-means的分布式k-anonymity算法,张琦颖,程祥,随着的大数据时代的到来,数据分享、数据发布的需求日益增加。然而未经处理发布或共享原始数据,将引起隐私泄露问题。k-anonymity匿�

立即下载
论文研究-一种基于OpenStack的云用量采集模型 .pdf

一种基于OpenStack的云用量采集模型,孙福全,宋茂强,本文提出了一种面向云环境的虚拟机用量数据采集模型,它可以采集基于OpenStack云环境中虚拟机用量信息。文章首先介绍了用量采集模型��

立即下载
论文研究-一种大功率可调开关电源的设计 .pdf

一种大功率可调开关电源的设计,杨剑,周伟,本文给出了一种新型大功率可调开关电源的应用设计。采用Buck型开关电源拓扑,以带单路PWM输出和电流电压反馈检测MC33060为控制IC,配��

立即下载
论文研究-一种带唤醒电路的有源标签设计 .pdf

一种带唤醒电路的有源标签设计,余强,聂在平,本文提出了一种微波频段带唤醒电路的有源RFID标签设计。对其进行了硬件设计和相应的软件编程。CC2430的应用使得有源标签在节能的前��

立即下载
论文研究-一种改善的HHT端点效应抑制方法 .pdf

一种改善的HHT端点效应抑制方法,张帆,廖星权,经验模态分解(EMD)是Hilbert-Huang变换(HHT)的核心算法。在EMD分解中,利用三次样条函数拟合信号上下包络在数据两端不可避免地会出��

立即下载
论文研究-一种基于引力模型的链接分析算法 .pdf

一种基于引力模型的链接分析算法,张利国,张宪超,链接分析在Web信息检索领域起着重要的作用。HITS算法是一种经典的链接分析算法。本文分析了HITS算法存在的问题,并在其基础上提出了�

立即下载
论文研究-一种基于SDN的BBU-RRH动态分配算法 .pdf

一种基于SDN的BBU-RRH动态分配算法,龙恳,赵勇,在云无线接入网(C-RAN)中,一个基带单元(BBU)可以为一组有限的射频拉远头(RRH)提供服务,BBU和RRH之间的逻辑连接应该是动态的,�

立即下载