云计算核心技术剖析(清晰中文完整版).pdf

所需积分/C币:50 2013-05-07 07:07:42 39.62MB PDF

云计算核心技术剖析(清晰中文完整版).pdf
耳 录3 57.1虚拟器件的定义 612产品类别 ……136 57,2虛拟器件的主要组成部分 108 613产品特点…………137 5.7,3虚拟器件的生命周期…………109 614成功案例………………………138 574虚拟器件的好处……………110 62 Amazon ec2简介…… …138 575虚拟器件的不足之处 111 63 Amazon ec2的主要模块… …139 576业界支持………………………112 63.1AMI…………………,……………139 577虚拟器件与云计算………………112 63,2实例……… ……………40 58OVF协议…………………………112 633存储… 5.8.1OVF信封……… 113 6.34安全方面…… 141 582OVF环境文件………………113 63.5可用区 ………142 5.83使用流程………………………114 636网络方面…… ………142 59Mwae的云计算计划… 115 637web管理界面………………142 5.9. 1 VMware vCloud Express 115 6.3.8API… 143 5.9.2 VMware v Cloud Director..116 64Ama7onEC2的使用 …143 593 KForce………………………l19 641准备账号………………………143 510Xen的架构………… 119 642创建实例…………144 5101Xen简介…………………………120 64.3启动服务……… 148 510.2半虚拟化技术介绍…………120 65 Amazon ec2的优缺点…………148 510.3Xen的架构…………………121 6.51优点……… 148 5,11Xen的实现机制…………… 652不足之处 149 122 5111超级调用…………122第7章 Cisco ucs……151 512vCPU调度………………………123 71什么是UCS 151 511.3中断虚拟化 123 72UCS的架构…………………………1 5.11.4内存管理…………………124 72.1 Cisco UCS6100系列互联阵列…152 5.11.5O系统………………………124 7.2.2 Cisco ucs管理程序… 152 5,116信息传递…………………………124 72.3 Cisco ucs2100系列扩展模块…153 51.7时间管理……………………125 724 Cisco ucs5100系列刀片札箱…153 5.12 Intel VT技术… 125 72.5 Cisco B系列刀片服务器 153 512.1VT-X…*1426 7.2.6 Cisco UCS网络适配器………154 5.12.2EPT…29 7.3UcS的核心技术之内存扩展………154 5.12.3VT-d… …130 73.1Xeon5500内存架构…………154 5.124VI-c…………………………13l 7.3.2思科的内存扩展技术…………156 513最新的进展 ………132 74LCS的核心技术之VN-Link…157 5.13.1 VMware vSphere4l………132 74.1虛拟网络的难题…………………157 5.13.2Xen4.0… …133 742 Cisco nexus1000V的方案……157 5.3.3 Intel VT的PLE技术 134 743NV竹方案………………………158 159 第6章 Amazon EC2…………135 75LcS的核心技术之统一网络 7.51数据中心的现状…………159 61AWS的概况………………………………135 7.5.2统一网终简介……………160 611简介……………………135 7.53统一网络的基石 …160 4目录 7.54不足之处……………………162 92 Bigtable的架构 ··暫·“鲁··,曹 ……178 76为虚拟化而生… 9.3 Big lable的数椐模型和调用接口…179 7.6.1虚拟化的目标 93l数据模型……………………………180 762服务器整合 93.2调用接口………………………181 7.63简化系统管理……………163 94 BigTable的存储模型………………181 764加速应有部署……………164 94. 1 Tablet的运行机制…………182 第8章云计算的安全 94,2 SSTable的介绍… 182 165 943 Compaction机制…… …183 8.1云计算安全的概念…………………165 9.5 Big table的分布式模型………………183 81.1新的挑战……………………166 951综述…………………………184 812现有安全系统的不足…166 9.52 Chubby……………184 8.1.3云计算的优势………167 953如何定位 Tablet………185 8.2云计算安全的架构 【67 954如何分配 Tablet………………186 821云客户端… ……………168 96 Bigtable的文件系统… 187 822云端…………………168 961GIS茼介 187 823第三方机构…………………………170 962GFS的架构 …188 8.3 Salesforce Force. com的安全机制……170 963GFS与 BigTable的协作………191 8.3.1整体监管和合规性 ……170 97 BigTable的优化技术……………191 832用户管理……………………171 97.1局部性群组…… 191 833数据管理 ………171 97.2压缩……………………………192 834系统和网络… 171 973通过缓存提高读操作的性能……192 83.5物理设施………………………171 9.74 Bloom过滤器…………192 84AWS的安全机制……………72 975提交日志的实现………… 193 841整体监管和合规性 l72 9.7.6利用不变性………………193 84.2用户管理……………………172 98 Bigtable的功能集………………194 843数裾管理… ,建t加tnt ……172 98.1论文中提到的特性 …194 844应用保护…………………………173 982新特性… 195 845系统与网络………………………173 846物理设施…… 174第10章 UntAble概览…………197 8.5为什么云计算更安全 174 10.1为什么要开发 Yun Table…………197 8.51安全管理方面…………………174 102 UntAble的目标……………………………198 8.52高可用性方面…………………174 10.210.2版的主要目标… …198 853数据安全方面……………175 1022一些限制……………………199 854人才方面…………175 10.3 UntAble的数据模型…………………199 8.55广域网方面………………175 10.4 Untable的命令行………………199 8.56总结………………175 1041A命令………………200 第三部分实跣篇 1042Put命令………… 200 1043Get命令 200 第9章深入分析 Big Table………178 10.5 Unable的架构 200 91 BigTable简介……………………178 1051 Master节点… …201 目录5 10.52 Region节点 ……2 11.4.2 WAL 233 1053客户端……………… 202 114.3 Tablet………………………:236 06工作流程…202 1144 Memstore……………242 10.61流程1:启动 Master节点……202 11.4.5 FIle…… …………244 106.2流程2:启动 Region节点…203 11.5客户端部分………251 10.6.3流程3:启动客户端…………203 115.1数据结构部分……………251 10.64流程4:添加 Master节点……203 11.5.2实现部分…………252 10.6.5流程5:添加 Region节点……204 106.6流程6;创建表格 第四部分展望篇 ……204 10.67流程7:创建列纽 204 10.6,8流程8:添加数据 205第12章云计算的未来………………264 1069流程9:根据RowK查询…205 12I云计算的服务模式……………264 10.7 Yun Table的使用 205 121.1比较………………………264 10.71准备环境……………………205 12.1.2未来的竞争………………265 107.2测试用例 …206 12.2云计算的商业模式 266 108 Yun Table的规划………………………207 122.1“超市”模式………………266 第11章 Yun Table的代码剖析… 122,2“电厂”模式……… 267 1223“超市η模式和“电厂” 111基础知识… ++= 模式的区别… 269 11,1.1编程规范…… 209 1224超市还是电厂…………269 11.1.2代码结构… 209 12.3云计算与中国…………………270 111.3开发环境……………210 123,1现状………………………270 l1.1.4重要设定…… 211 1232对米来的期望……………271 112基础部分……………211 124云计算最新技术… …272 112. 1 Utils……………………212 12.4.1 Facebook t5 Open Compute 11.22List……………………………215 项目…72 11.2.3Item …216 1242 Mware的开源 PaaS Cloud 1.2,4Conf… ……219 Foundry……273 11.2.5RPC…………………………………220 124.3 Yun Engine………………273 11,3 Master部分……………………………,222 12.5聊聊科技产业的未来…… ……274 11.3.数提结构部分………………222 125.1潜在的优势 275 113.2对外接口部分………… 223 12.52主要方向……………275 11.33实现部分…………………223 1253驱动力…………………276 114 Region部分………… 226结尾 和日国马中国:,:,,主日a:1,主...aa画 国;a日暮国律 277 11.4.1 Region 227附录 27 8 Part 1 第一部分 理论篇 本部分内容 第1章云计算的概念 第2章云计算的架构 第1章 云计算的概念 孟子云:“不以规矩,无以成方圆。”也就是说,“方圆”再怎么精彩和美丽,都离不开“规 矩”的积淀和约束,这个道理对云计算也同样适用。如果读者对云计算本身有一定的认知和理 解,那么就非常有助于今后对其相关技术和产品的学习,而本章就专注于云计算木身。在木章 开始,我们将介绍云计算的定义和特点,接着将从思想和技术这两方面来分析云计算的由来, 然后讲述一下云计算的诞生与成长,最后将重点介绍云计算对整个r产业的影响和主要的应用 场景。 1.1什么是云计算 云计算到底是什么呢? 在我看来,云计算是新一代IT模式,在后端规模庞大、非常自动化和高可靠性的云廿算 中心支持下,人们只要接入互联网,就能非常方便地访问各种基于云的应用和信息,并免去了 安装和维护等烦琐操作。同时企业和个人也能以低廉的价格来使用这些由云计算中心提供的服 务,或者在云中直接搭建其所需的信息服务。在收费模式上,云计算和水电等公用事业非常类 似,用户只需为其所使用的部分付费。 虽然云计算听起来非常不错,但是到底在哪些方面能体现出它的优势呢? 1.1.1云计算的优点 对云计算的使用者(主要是个人用户和企业)来讲,云计算将会在用户体验和成本这两方 面给他们带来很多非常实在的好处。 1.用户体验 对个人用户而言,在云计算时代会出现越来越多的基于互联网的服务,这些服务丰富多样、 功能强大、随吋随地接人,无需购买、下载和安装任何客户端,只需使用浏览器就能轻松访问, 也无需为软件的升级和病毒的感染操心。还有,人们可以将文档等数据放在云中来共享和协作, 比如共同编辑同一篇文章,而且通过严格的权限管理机制来确保协作是在安全的环境下进行的。 对企业用户而言,可以利用云技术优化其现有的IT服务,使现有的TT服务更可靠、更自动化, 1.1什么是云计算3 更可以将企业的IT服务整体迁移到云上,使企业卸下维护m服务的重担,从而更专注于其主 营业务。 2.成本 对个人用户而言,由于他们所使用的服务运行在云端,本地计算需求比较少,所以无需像 过去那样不断地升级计算机的配置或者购买昂贵的新计算机,只需一个廉价的可以上网的智能 终端即可,比如手机和上网本等。同时由于互联网服务是按需使用的,所以无需在初期购置价 格不菲的软件客户端。对企业用户而言,除了可以利用先进的云技术来降低企业IT初期的投资 成本和后期的维护成本之外,还可以通过将IT服务外包或者整体迁移到外部的云中来削减IT 部门的规模,使公司成本的结构更完善。 上面提到的一些云计算的优点都源自云计算自身的特点。 1.1.2云计算的特点 云计算除了常见的超大规模、高可扩展性和按需服务的特点之外,还有自动化和节能环保 等特点,总括起来,可以从10个方面来看 口超大规模。大多数云计算中心都具有相当的规模,比如 Google云计算中心已经拥有几 百万台服务器,而 Amazon、BM、微软、 Yahoo等企业所掌控的云计算规模也毫不逊 色,并且云计算中心能通过整合和管理这些数目庞大的计算机集群,来赋子用户前所未 有的计算和存储能力 口抽象化。云计算支持用户在任意位置使用各种终端获取应用服务,所请求的资源都来自 “云”,而不是固定的有形实体。应用在“云”中某处运行,但实际上用户无需了解也不 用担心应用运行的具体位置,这样能有效地简化应用的使用。 口高可靠性。云计算中心在软硬件层面采用了诸如数据多副本容错、心跳检测和计算节点 同构可互换等措施来保障服务的高可靠性,还在设施层面上的能源、制冷和网络连接等 方面采用了冗余设计,以进一步确保服务的可靠性。 口通用性。云计算中心很少为特定的应用存在,但它有效支持业界大多数的主流应用,并 且一个“云”可以支撑多个不同类型的应用同时运行,并保证这些服务的运行质量。 口高可扩展性。用户所使用的“云”资源可以根据其应用的需要进行调整和动态伸缩,并 且再加上前面所提到的云计算中心本身的超大规模,“云”能够有效地满足应川和用户 大规模增长的需要。 口按需服务。“云”是一个庞大的资源池,用户可以按需购买,就像自来水、电和煤气等 公用事业那样根据用户的使用量计费,无需任何软硬件和设施等方面的前期投入。 口廉价。云计算中心本身规模巨大会带来经济性和提升资源利用率,并且“云”大都采用 廉价和通用的x86节点来构建,因此用户可以充分享受云计算所带来的低成本优势,经 常只要花费几百美元就能完成以前需要数万美元才能完成的任务。 口自动化。在云中,不论是应用、服务和资源的部署,还是软硬件的管理,主要通过自动 4第1章云计算的概念 化的方式执行和管理,也极大地降低了整个云计算中心的人力成本。 口节能环保。云计算技术能将许许多多分散在低利用率服务器上的工作负载整合到云中, 来提升资源的使用效率,而且云由专业管理团队运维,所以其PUE( Power Usage Effectiveness,电源使用效率)值比普通企业的数据中心出色很多,比如 Google数据中 心的PUE值在1.2左右,即每1元钱的电力花在计算资源上,只需再花2角钱的电力在 制冷等设备上,而常见的PUE在2和3之间。并且还能将云建设在水电厂等洁净资源旁 边,这样既能进一步节省能源方面的开支,又能保护环境。 口完善的运维机制。在“云”的另一端,有全世界最专业的团队来帮用户管理信息,有全 世界最先进的数据中心来帮用户保存数据。同时,严格的权限管理策略可以保证这些数 据的安全。这样,用户无需花费重金就可以享受到最专业的服务。 这些特点使得云计算能为用户提供更方便的体验,同时还能降低使用成本,正因为如此 云计算才能脱颖而出并且被业界推崇。那么,云计算是怎么诞生的呢? 1.2云计算的由来 虽然很多伟大的发明和技术在我们看来都是些突发奇想的产物,但真正探究起来,这些东 西大多是通过一代人甚至几代人的积累演变而成的。其中最明显的例子莫过于计算机本身。早 在2000多年前,我们中国人就发明了算盘这一强大的计算工具。1642年,法国数学家帕斯卡 在英国数学家奥特雷得所制作的“计算尺”的基础上,制成了能进行八位计算的“加法器”。 1673年,徳国数学家莱布尼茨在巴黎制造了一个能进行加、减、乘、除及开方运算的计算器, 名为“乘法器”。1820年,英国人查尔斯·巴贝奇构想和设计了世界上第一台完全可编程的计 算机,可惜由于当时技术条件和经费的限制,这台计算机未能在他有生之年问世。到了20世纪, 艾伦·图灵的图灵机思想和新兴的电子技术都对最后ENAC的问世起到了非常关键的作用。 还有,我们耳熟能详但晦涩难懂的相对论也同样如此。如果没有麦克斯韦尔、迈克尔逊和洛仑 兹等大师的积淀,恐怕爱因斯坦很难创立相对论。 难道“云计算”就是特例吗?云计算这个名词虽然只是 Google CEO埃里克·施密特博士 当年在SUN担任CTO时偶然想到的,但是其概念本身不仅和前言中提到的过去电力的发展密 不可分,而且更是整个∏T产业自然发展和演化的必然结果。这些发展和演化不仅表现在思想方 面,更涉及技术方面的进步。 1.2.1思想演化 计算在思想方面主要经历了4个阶段才发展到现在这样比较成熟的水平,这4个阶段依 次是电厂模式、效用计算、网格计算和云计算,如图1-1所示。 电厂机式一用计网格计算云计算 图1-1思想方面的发展历程 1.2云计算的由来5 1.电厂模式 由于行业本身是一个比较新的行业,所以从其他行业取经是其发展不可或缺的一步, 比如从建筑行业引亼“模弌”这个概念。虽然在∏界,电厂这个概念不像“模式”那样炙手 可热,但其影响是深远的,而且有许许多多的IT人在不断地实践着这个理念。电厂模式的意 思是利用电厂的规模效应来降低电力的价格,并让用户使用起来更方便,且无需维护和购买 任何发电设备。 2.效用计算 在1960年左右,当时计算设备的价格是非常高昂的,远非普通企业、学校和机构所能承受, 所以很多人产生了共享计算资源的想法。特别是在1961年,人工智能之父麦肯锡在一次会议上 提出了“效用计算”( utility computing)这个概念,其核心借鉴了上面所提到的电厂模式,具 体目标是整合分散在各地的服务器、存储系统以及应用程序来共享给多个用户,让用户能够像 把灯泡插入灯座一样来使用计算机资源,并且根据其所使用的量来付费。接着,在1966年, D.F. Parkhi其经典著作《计算机效用事业的挑战》中也提出了类似的观点,但由于当时整 个I产业还处丁发展初期,很多强大的技术还未诞生,比如互联网等,所以虽然这个想法一直 都为人称道,但是总体而言“叫好不叫座”。 3.网格计算 国内的技术人员无法领会网格计算( grid computing)的精髓和真谛可能主要是因为翻译的 问题。网格计算中的网格,也就是“grid,其英文原意并不是我们所认为的网格,而是电力的 网格,所以其核心与上面的效用计算非常接近,但是它的侧重点略有不同。网格计算硏究如何 把一个需要非常巨大的计算能力才能解决的问题分成许多小的部分,然后把这些部分分配给许 多低性能的计算机来处理,最后把这些计算结果综合起来攻克大问题。可惜的是,由于网格计 算在商业模式、技术和安全性方面的不足,使得其并没有在工程界和商业界取得预期的成功 但在学术界,它还是有一定的应用的,比如用于寻找外星人的“SETI”计划等。 4.云计算 云计算的核心与前面的效用计算和网格计算非常类似,也是希望I技术能像使用电力那样 方便,并且成本低亷。但与效用计算和网格计算不同的是,现在在需求方面已经有了一定的规 模,同时在技术方面也已经基本成熟了。因此,与效用计算和网格计算相比,云计算的发展将 更脚踏实地。 122技术支撑 如果没有强大的技术以提供动力的话,云计算也只能是“空中楼阁”。如图1-2所示, 云计算主要有5大类技术支持 1摩尔定律 随着摩尔定律依旧推动着整个硬件产业的发展,芯片、内存和硬盘等硬件设备在性能和容

...展开详情

评论 下载该资源后可以进行评论 31

dtflj 没什么 用。我建议看别的材料 吧
2019-01-20
回复
qq_37112138 很不错的书籍,可以看看
2018-10-28
回复
kfbyldy3 完整版,支持一个
2017-05-11
回复
pengpan1976 非常好用,谢谢分享
2017-01-01
回复
cthzr 还可以不错
2016-06-07
回复
img
wchmr

关注 私信 TA的资源

上传资源赚积分,得勋章
最新资源