没有合适的资源?快使用搜索试试~ 我知道了~
云计算技术综述.doc
1.该资源内容由用户上传,如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
版权申诉
0 下载量 142 浏览量
2021-10-06
07:58:35
上传
评论
收藏 130KB DOC 举报
温馨提示
试读
31页
云计算技术综述.doc
资源推荐
资源详情
资源评论
云计算技术综述
胡经国
本文作者的话
本文是根据有关文献和资料编写的?漫话云计算?系列文稿之一。现作为云
计算学习笔录,奉献给云计算业外读者,作为进一步学习和研究的参考。希望
能够得到大家的指教和喜欢!
下面是正文
一、云计算关键技术
1、虚拟化技术
在云计算中,虚拟化〔Virtualization〕是一种资源管理技术。虚拟化技术,
是指计算元件在虚拟的根底上而不是在真实的根底上运行。它可以扩大硬件的
容量,简化软件的重新配置过程,减少软件虚拟机相关开销和支持更广泛的操
作系统。通过虚拟化技术,可实现软件应用与底层硬件相隔离。它包括将单个
资源划分为多个虚拟资源的裂分模式;也包括将多个资源整合为一个虚拟资源
的聚合模式。例如,可以将一台物理效劳器虚拟成为多台逻辑机器;也可以将
多台物理效劳器虚拟成为一台逻辑机器。
虚拟化技术根据对象可分为:计算虚拟化、存储虚拟化、网络虚拟化等。
计算虚拟化又分为:系统级虚拟化、应用级虚拟化和桌面虚拟化。在云计算实
现中,计算系统虚拟化,是一切建立在“云〞上的效劳与应用的根底。
虚拟化技术目前主要应用在 CPU、操作系统、效劳器等多个方面,是提高
效劳效率的最正确解决方案。
2、分布式海量数据存储
云计算系统由大量效劳器组成,同时为大量用户效劳。因此,云计算系统
采用分布式存储的方式存储数据;用冗余存储的方式〔集群计算、数据冗余和
分布式存储〕保证数据的可靠性。
冗余存储的方式,通过任务分解和集群,用低配置机器替代超级计算机的
性能,来保证低本钱。这种方式保证分布式数据的高可用、高可靠和经济性,
即为同一份数据存储多个副本。
云计算系统中广泛使用的数据存储系统,是 Google 的 GFS 和 Hadoop 团队
1
开发的 GFS 的开源实现 HDFS。
链接:GFS
GFS〔Google File System,Google 文件系统〕,是 Google 公司为了存储海
量搜索数据而设计的专用文件系统。GFS 是一个可扩展的分布式文件系统,用
于大型的、分布式的、对大量数据进行访问的应用。它运行于廉价的普通硬件
上,并提供容错功能。它可以给大量的用户提供总体性能较高的效劳。
链接:HDFS
HDFS〔Hadoop Distributed File System,Hadoop 分布式文件系统〕被设计
成适合运行在通用硬件〔commodity hardware〕上的分布式文件系统。它和现有
的分布式文件系统有很多共同点。但是同时,它和其他的分布式文件系统的区
别也是很明显的。HDFS 是一个高度容错性的系统,适合部署在廉价的机器
上。HDFS 能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。
HDFS 具有高容错性〔fault-tolerant〕的特点,并且设计用来部署在低廉的
〔low-cost〕硬件上。而且,它提供高吞吐量〔high throughput〕来访问应用程
序的数据,适合那些具有超大数据集〔large data set〕的应用程序。
3、海量数据管理技术
云计算需要对分布的、海量的数据进行处理、分析 。因此,数据管理技
术,必需能够高效地管理大量的数据。云计算系统中的数据管理技术,主要是
Google 的 BT sT~lO 数据管理技术和 Hadoop 团队开发的开源数据管理模块
HBase。
由于云数据存储管理形式,不同于传统的 RDBMS 数据管理方式,如何在
规模巨大的分布式数据中找到特定的数据,也是云计算数据管理技术所必须解
决的问题。同时,由于管理形式的不同,造成传统的 SQL 数据库接口,无法直
接移植到云管理系统中来。目前,一些研究在关注为云数据管理提供 RDBMS
和 SQL 的接口,如基于 Hadoap 子工程 HBase 和 Hive 等。
另外,在云数据管理方面,如何保证数据平安性和数据访问高效性,也是
研究关注的重点问题之一。
链接:HBase
HBase〔Hadoop Database,Hadoop 数据库〕,是一个分布式的、面向列的
开源数据库。HBase 不同于一般的关系型数据库,它是一个适合于非结构化数
据存储的数据库。另一个不同的是,HBase 基于列的而不是基于行的模式。
HBase 是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。利
用 HBase 技术可在廉价 PC Server 上搭建起大规模结构化存储集群。
2
链接:RDBMS
RDBMS〔Relational Database Management System,关系型数据库管理系
统〕,是将数据组织为相关的行和列的系统;而管理关系型数据库的软件就是
关系型数据库管理系统。常用的管理关系型数据库的软件有 Oracle、SQL Server
等。
链接:SQL
SQL〔Structured,Query,Language,结构化查询语言〕,是一种数据库查询
和程序设计语言,用于存取数据以及查询、更新和管理关系型数据库系统;同
时也是数据库脚本文件的扩展名。
链接:Hive
Hive 是基于 Hadoop 的一个数据仓库工具,可以将结构化的数据文件映射
为一张数据库表,并提供 完整的 SQL 查询功能,可以将 SQL 语句转换为
MapReduce 任务进行运行。其优点是学习本钱低,可以通过类 SQL 语句快速实
现简单的 MapReduce 统计,不必开发专门的 MapReduce 应用,十分适合数据仓
库的统计分析。
链接:MapReduce
MapReduce 是一种分布式并行编程模型,用于大规模数据集〔大于 1TB〕
的并行运算。概念“Map〔映射〕〞和“Reduce〔归约〕〞,和它们的主要思
想,都是从函数式编程语言里借来的,还有从矢量编程语言里借来的特性。它
极大地方便了编程人员在不会分布式并行编程的情况下,将自己的程序运行在
分布式系统上。
4、编程模式
云计算提供了分布式计算模式,客观上要求必须有分布式编程模式。云计
算采用了一种思想简洁的分布式并行编程模型 MapReduce。MapReduce 是一种
编程模型和任务调度模型。主要用于数据集的并行运算和并行任务的调度处
理。
在该模式下,用户只需要自行编写 Map 函数和 Reduce 函数,即可进行并
行计算。其中,在 Map 〔映射〕函数中定义各节点上的分块数据的处理方法;
而在 Reduce〔归约或化简〕〞函数中定义中间结果的保存方法以及最终结果的
归纳方法。
5、云计算平台管理技术
云计算资源规模庞大,效劳器数量众多并分布在不同的地点,同时运行着
数百种应用。如何有效地管理这些效劳器,保证整个系统提供不间断的效劳,
是巨大的挑战。云计算系统的平台管理技术,能够使大量的效劳器协同工作,
3
方便地进行业务部署和开通,快速发现和恢复系统故障,通过自动化、智能化
的手段实现大规模系统的可靠运营。
云计算平台,也称为云平台。云计算平台可以划分为 3 类:以数据存储为
主的存储型云平台,以数据处理为主的计算型云平台,以及计算和数据存储处
理兼顾的综合云计算平台。
转向云计算〔Cloud Computing〕,是业界将要面临的一个重大转变。各种
云平台〔Cloud Platforms〕的出现是该转变的最重要环节之一。顾名思义,云平
台允许开发者们或是将写好的程序放在“云〞里运行,或是使用“云〞里提供的
效劳,或是二者皆有。
二、云计算的技术根底
图 2 云计算的技术根底
在技术变革不断发生的过程中,网络逐步从根本互联网功能,转换到 Web
效劳时代〔典型的 Web2.0 时代〕;IT 也由企业网络互通性,转换到提供信息架
构全面支撑企业核心业务。技术驱动力,也为云计算提供了实现的客观条件,
如上图所示,在关键领域云计算技术已经就绪。
1、标准化
标准化:公共技术、开源技术、硬件标准接口、高度可扩展硬件体系、根
底架构平台化、异构相容。
公共技术的长期开展,使得根底组件的标准化非常完善,硬件层面的互通
4
已经没有阻碍〔即使是非常封闭的大型机,目前也开始支持对外直接接出 IP 接
口〕。大规模运营的云计算,能够极大降低单位建设本钱。
链接:开源软件技术
开源软件〔Open Source Software〕技术,是指向公众开放软件源代码的技
术。
它源于一些软件技术发烧友出于技术展现目的或者说是对软件的一种热
爱,将自己辛勤开发的软件源代码无私地发布到互联网社区上与社会共享。他
们坚信,好的软件应该是开放的,应该由任何有能力的人参与共同完善,这就
是开源技术的理念。
互联网企业通过开源软件全面替代传统商业软件,从而得到信息化自主把
控能力的过程,被称为软件开源化。
2、虚拟化与自动化
虚拟化与自动化:计算虚拟化、存储虚拟化、网络平安虚拟化、资源整
合、自动化调配、自动化响应、屏蔽根底架构不同组件的异构。
虚拟化技术不断向纵深开展,IT 资源已经可以通过自动化的架构提供全局
动态调度能力,自动化提升了 IT 架构的伸缩性和扩展性。
3、并行、分布式架构
并行与分布式:大规模集群技术、分布式数据库、分布式文件系统、可伸
缩可扩展的大型软件架构。
大规模的计算与数据处理系统,已经在分布式、并行处理的架构上得到广
泛应用。计算密集、数据密集、大型数据文件系统,成为云计算的实现根底。
从而,要求整个根底架构,具有更高的弹性与扩展性。
链接:集群技术
集群〔Cluster〕技术是一种较新的技术。通过集群技术,可以在付出较低
本钱的情况下获得在性能、可靠性、灵活性方面的相对较高的收益。其任务调
度那么是集群系统中的核心技术。
在这里,集群,是指一组相互独立的、通过高速网络互联的计算机〔效劳
器〕。它们构成了一个组即一个集群,并以单一系统的模式加以管理。一个客
户与集群相互作用时,集群像是一个独立的效劳器。集群配置是用于提高可用
性和可伸缩性。
5
剩余30页未读,继续阅读
资源评论
zhangao_fengg
- 粉丝: 17
- 资源: 5万+
下载权益
C知道特权
VIP文章
课程特权
开通VIP
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功