云计算与⼤数据作业 1.什么是云计算 云计算(cloud computing)是基于互联⽹的相关服务的增加、使⽤和交付模式,通常涉及通过互联⽹来提供动态易扩展且经常是虚拟化的 资源。云是⽹络、互联⽹的⼀种⽐喻说法。 分布式计算:分布式计算是⼀种计算⽅法,和集中式计算是相对的。随着计算技术的发展,有些应⽤需要⾮常巨⼤的计算能⼒才能完成,如 果采⽤集中式计算,需要耗费相当长的时间来完成。分布式计算将该应⽤分解成许多⼩的部分,分配给多台计算机进⾏处理。这样可以节约 整体计算时间,⼤⼤提⾼计算效率。 2.云计算的特点 (1)超⼤规模:"云"具有相当的规模,Google云计算已经拥有100多万台服务器, Amazon、IBM、微软、Yahoo等的"云"均拥有 ⼏⼗万台服务器。企业私有云⼀般拥有数百上千台服务器。"云"能赋予⽤户前所未有的计算能⼒。 (2) 虚拟化:云计算⽀持⽤户在任意位置、使⽤各种终端获取应⽤服务。所请求的资源来⾃"云",⽽不是固定的有形的实体。应⽤ 在"云"中某处运⾏,但实际上⽤户⽆需了解、也不⽤担⼼应⽤运⾏的具体位置。 (3) ⾼可靠性:"云"使⽤了数据多副本容错、计算节点同构可互换等措施来保障服务的⾼可靠性,使⽤云计算⽐使⽤本地计算机可靠。 (4) 通⽤性:云计算不针对特定的应⽤,在"云"的⽀撑下可以构造出千变万化的应⽤,同⼀个"云"可以同时⽀撑不同的应⽤运⾏。 (5) ⾼可扩展性:"云"的规模可以动态伸缩,满⾜应⽤和⽤户规模增长的需要。 (6) 按需服务:"云"是⼀个庞⼤的资源池,你按需购买;云可以像⾃来⽔,电,煤⽓那样计费。 (7) 极其廉价:由于"云"的特殊容错措施可以采⽤极其廉价的节点来构成云,"云"的⾃动化集中式管理使⼤量企业⽆需负担⽇益⾼昂的 数据中⼼管理成本,"云"的通⽤性使资源的利⽤率较之传统系统⼤幅提升,因此⽤户可以充分享受"云"的低成本优势,经常只要花费⼏ 百美元、⼏天时间就能完成以前需要数万美元、数⽉时间才能完成的任务。 3.云计算的关键技术 云计算的关键技术有: 虚拟化、 分布式⽂件系统、 分布式数据库、 资源管理技术、能耗管理技术。 (1)虚拟化:虚拟化是实现云计算重要的技术设施,是在通过物理主机中同时运⾏多个虚拟机实现虚拟化,在这个虚拟化平台上,实现对多 个虚拟机操作系统的监视和多个虚拟机对物理资源的共享; (2)分布式⽂件系统:指在⽂件系统基础上发展⽽来的云存储分布式系统,可⽤于⼤规模的集群,主要特点: 1、⾼可靠性:云存储系统⽀持多个节点间保存多个数据副本的功能,以提供数据的可靠性;'' 2、⾼访问性:根据数据的重要性和访问频率将数据分级多副本存储、热点数据并⾏读写,提⾼访问; 3、在线迁移、复制:存储节点⽀持在线迁移,复制、扩容不影响上层应⽤; 4、⾃动负载均衡:可以根据当前系统的负荷,将原有节点上的数据迁移到新增的节点上,特有的分⽚存储,以快为最⼩单位来存储,存储 和查询时所有的存储节点并⾏计算; 5、元数据和数据分离:采⽤元数据和数据分离的存储⽅式设计分布式⽂件系统。 (3)分布式数据库:能实现动态负载均衡、故障节点⾃动接管、具有⾼可靠性,⾼可⽤性、⾼可扩展性; (4)资源管理技术: 云系统为开发商和⽤户提供了简单通⽤的接⼝,使得开发商将注意⼒更多低集中在软件本⾝,⽽⽆需考虑到底层架构,云 系统⼀句⽤户的资源获取请求,动态分配计算资源; (5)能耗管理技术: 云计算基础设施中包括数以万计的计算机,如何有效低整合资源、降低运⾏成本,节省运⾏计算机所需的能源成为⼀个关 注的问题 4.什么是集群、集群的类型 集群(cluster)就是⼀组计算机,它们作为⼀个整体向⽤户提供⼀组⽹络资源,这些单个的计算机系统就是集群的节点(node)。集群提 供了以下关键的特性。 (⼀) 可扩展性。集群的性能不限于单⼀的服务实体,新的服务实体可以动态的加⼊到集群,从⽽增强集群的性能。 (⼆) ⾼可⽤性。集群通过服务实体冗余使客户端免于轻易遭遇到"out of service"警告。当⼀台节点服务器发⽣故障的时候,这台服务器 上所运⾏的应⽤程序将在另⼀节点服务器上被⾃动接管。消除单点故障对于增强数据可⽤性、可达性和可靠性是⾮常重要的。 (三) 负载均衡。负载均衡能把任务⽐较均匀的分布到集群环境下的计算和⽹络资源,以便提⾼数据吞吐量。 (四) 错误恢复。如果集群中的某⼀台服务器由于故障或者维护需要⽽⽆法使⽤,资源和应⽤程序将转移到可⽤的集群节点上。这种由于某个 节点中的资源不能⼯作,另⼀个可⽤节点中的资源能够透明的接管并继续完成任务的过程叫做错误恢复。 分布式与集群的联系与区别如下: (⼀) 分布式是指将不同的业务分布在不同的地⽅。 (⼆) ⽽集群指的是将⼏台服务器集中在⼀起,实现同⼀业务。 (三) 分布式 云计算是一种基于互联网的服务交付模式,它允许用户通过网络获取并使用动态扩展的虚拟化资源。这一概念源于将网络比喻为“云”,代表了资源的无边无际和可随时随地访问的特性。分布式计算是云计算的基础之一,它通过将大规模计算任务拆分为小部分并分配给多台计算机处理,从而提高了效率。 云计算的特点包括: 1. 超大规模:大型云计算提供商如Google、Amazon、IBM和Yahoo拥有数十万台服务器,为企业和用户提供前所未有的计算能力。 2. 虚拟化:用户无需关心服务的物理位置,只需通过网络请求服务,资源可在任何地方运行。 3. 高可靠性:通过数据多副本和计算节点的冗余设计,确保服务的高可用性。 4. 通用性:同一云计算平台可以支持各种不同的应用运行。 5. 高可扩展性:云服务的规模可根据需求动态调整,适应应用和用户规模的增长。 6. 按需服务:用户仅需支付实际使用的资源,如同使用水电煤气一样计费。 7. 极其廉价:通过自动化管理和资源利用率的提高,显著降低了运营成本。 云计算的关键技术涵盖: 1. 虚拟化:通过虚拟化技术,可以在一台物理设备上运行多个虚拟机,实现资源的有效利用和管理。 2. 分布式文件系统:如Hadoop HDFS,提供高可靠性和高访问性的存储解决方案,支持数据的自动备份和负载均衡。 3. 分布式数据库:如Cassandra或HBase,能实现动态负载均衡和故障恢复,确保服务的高可用性和可扩展性。 4. 资源管理技术:自动分配和调整计算资源,简化开发者和用户的工作。 5. 能耗管理技术:优化数据中心的能源效率,降低运行成本。 集群是将多台计算机组合成一个整体,提供网络资源,具有可扩展性、高可用性、负载均衡和错误恢复的特性。集群中的每台计算机都是一个节点,当节点出现故障时,服务可自动转移到其他节点。分布式计算与集群有所不同,分布式强调不同地点的资源协作,而集群则是在地理位置相近的服务器上实现同一业务。虽然集群可以是分布式的一部分,但分布式系统并不一定是集群形式。
- 粉丝: 192
- 资源: 3万+
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助