云计算与大数据作业.pdf

云计算与⼤数据作业 1.什么是云计算 云计算（cloud computing）是基于互联⽹的相关服务的增加、使⽤和交付模式，通常涉及通过互联⽹来提供动态易扩展且经常是虚拟化的 资源。云是⽹络、互联⽹的⼀种⽐喻说法。 分布式计算：分布式计算是⼀种计算⽅法，和集中式计算是相对的。随着计算技术的发展，有些应⽤需要⾮常巨⼤的计算能⼒才能完成，如 果采⽤集中式计算，需要耗费相当长的时间来完成。分布式计算将该应⽤分解成许多⼩的部分，分配给多台计算机进⾏处理。这样可以节约 整体计算时间，⼤⼤提⾼计算效率。 2.云计算的特点 （1）超⼤规模："云"具有相当的规模，Google云计算已经拥有100多万台服务器， Amazon、IBM、微软、Yahoo等的"云"均拥有 ⼏⼗万台服务器。企业私有云⼀般拥有数百上千台服务器。"云"能赋予⽤户前所未有的计算能⼒。 (2) 虚拟化：云计算⽀持⽤户在任意位置、使⽤各种终端获取应⽤服务。所请求的资源来⾃"云"，⽽不是固定的有形的实体。应⽤ 在"云"中某处运⾏，但实际上⽤户⽆需了解、也不⽤担⼼应⽤运⾏的具体位置。 (3) ⾼可靠性："云"使⽤了数据多副本容错、计算节点同构可互换等措施来保障服务的⾼可靠性，使⽤云计算⽐使⽤本地计算机可靠。 (4) 通⽤性：云计算不针对特定的应⽤，在"云"的⽀撑下可以构造出千变万化的应⽤，同⼀个"云"可以同时⽀撑不同的应⽤运⾏。 (5) ⾼可扩展性："云"的规模可以动态伸缩，满⾜应⽤和⽤户规模增长的需要。 (6) 按需服务："云"是⼀个庞⼤的资源池，你按需购买；云可以像⾃来⽔，电，煤⽓那样计费。 (7) 极其廉价：由于"云"的特殊容错措施可以采⽤极其廉价的节点来构成云，"云"的⾃动化集中式管理使⼤量企业⽆需负担⽇益⾼昂的 数据中⼼管理成本，"云"的通⽤性使资源的利⽤率较之传统系统⼤幅提升，因此⽤户可以充分享受"云"的低成本优势，经常只要花费⼏ 百美元、⼏天时间就能完成以前需要数万美元、数⽉时间才能完成的任务。 3.云计算的关键技术 云计算的关键技术有： 虚拟化、 分布式⽂件系统、 分布式数据库、 资源管理技术、能耗管理技术。 (1)虚拟化：虚拟化是实现云计算重要的技术设施，是在通过物理主机中同时运⾏多个虚拟机实现虚拟化，在这个虚拟化平台上，实现对多 个虚拟机操作系统的监视和多个虚拟机对物理资源的共享； (2)分布式⽂件系统：指在⽂件系统基础上发展⽽来的云存储分布式系统，可⽤于⼤规模的集群，主要特点： 1、⾼可靠性：云存储系统⽀持多个节点间保存多个数据副本的功能，以提供数据的可靠性；'' 2、⾼访问性：根据数据的重要性和访问频率将数据分级多副本存储、热点数据并⾏读写，提⾼访问； 3、在线迁移、复制：存储节点⽀持在线迁移，复制、扩容不影响上层应⽤； 4、⾃动负载均衡：可以根据当前系统的负荷，将原有节点上的数据迁移到新增的节点上，特有的分⽚存储，以快为最⼩单位来存储，存储 和查询时所有的存储节点并⾏计算； 5、元数据和数据分离：采⽤元数据和数据分离的存储⽅式设计分布式⽂件系统。 (3)分布式数据库:能实现动态负载均衡、故障节点⾃动接管、具有⾼可靠性，⾼可⽤性、⾼可扩展性； (4)资源管理技术: 云系统为开发商和⽤户提供了简单通⽤的接⼝，使得开发商将注意⼒更多低集中在软件本⾝，⽽⽆需考虑到底层架构，云 系统⼀句⽤户的资源获取请求，动态分配计算资源； (5)能耗管理技术: 云计算基础设施中包括数以万计的计算机，如何有效低整合资源、降低运⾏成本，节省运⾏计算机所需的能源成为⼀个关 注的问题 4.什么是集群、集群的类型 集群（cluster）就是⼀组计算机，它们作为⼀个整体向⽤户提供⼀组⽹络资源，这些单个的计算机系统就是集群的节点（node）。集群提 供了以下关键的特性。 (⼀) 可扩展性。集群的性能不限于单⼀的服务实体，新的服务实体可以动态的加⼊到集群，从⽽增强集群的性能。 (⼆) ⾼可⽤性。集群通过服务实体冗余使客户端免于轻易遭遇到"out of service"警告。当⼀台节点服务器发⽣故障的时候，这台服务器 上所运⾏的应⽤程序将在另⼀节点服务器上被⾃动接管。消除单点故障对于增强数据可⽤性、可达性和可靠性是⾮常重要的。 (三) 负载均衡。负载均衡能把任务⽐较均匀的分布到集群环境下的计算和⽹络资源，以便提⾼数据吞吐量。 (四) 错误恢复。如果集群中的某⼀台服务器由于故障或者维护需要⽽⽆法使⽤，资源和应⽤程序将转移到可⽤的集群节点上。这种由于某个 节点中的资源不能⼯作，另⼀个可⽤节点中的资源能够透明的接管并继续完成任务的过程叫做错误恢复。 分布式与集群的联系与区别如下： (⼀) 分布式是指将不同的业务分布在不同的地⽅。 (⼆) ⽽集群指的是将⼏台服务器集中在⼀起，实现同⼀业务。 (三) 分布式