云计算WHU生存指南之考试划范围笔记
需积分: 0 22 浏览量
2023-02-18
01:38:18
上传
评论
收藏 388KB DOCX 举报
云计算课程作业
1. 云计算分类？按照部署方式和服务类型分类
云计算按照部署方式分为私有云、公有云、社区云、混合云
按照服务类型分类：
PaaS/将平台作为服务：将应用软件功能封装成服务，例如 Client Relationship Management。
IaaS/将基础设施作为服务：将基础设施封装成服务，例如 Amazon Web Services 的弹性计算云 EC2 和简单存储服务 S3，允
许用户动态申请或释放节点，按照使用量计算。
SaaS/将软件作为服务：例如 Google App Engine 提供用户应用程序的运行环境，SaaS 内部负责资源的动态扩展和容错管理，
用户必须使用特定的编程环境并遵照编程模型。
2. 云计算实现机制
物理资源层、资源池层、管理中间件层、SOA 构建层
3. Google 云计算技术包括哪些内容
八种核心技术和一个应用程序开发环境.包括 GFS、MapReduce、Chubby、Bigtable、Megastore、Dapper、Dremel、
PowerDrill 和 Google App Engine。
1) GFS：是一个大型的分布式文件系统，为 Google 云计算提供海量存储，处于所有核心技术的底层。
2) MapReduce：Google 提出的软件架构，是一种处理海量数据的并行编程模式，用于大规模数据集的并行运算。
3) Chubby：Google 设计的提供粗粒度锁服务的文件系统，解决了分布的一致性问题。
4) Bigtable：Google 开发的基于 GFS 和 Chubby 的分布式存储系统
5) Megastore：Google 设计和构建的用于互联网中交互式分布存储系统，将关系型数据库和 NoSQL（泛指非关系
型数据库）的特点优势融合
6) Dapper：实现大规模分布式系统的监控基础架构
7) Dremel：海量数据的交互式分析工具
8) PowerDrill：内存大数据分析系统
9) Google App Engine:提供一体化的在线应用服务，由 Bigtable、GFS 组成的平台
4. GFS 采用了哪些容错措施来确保整个系统的可靠性？
Master 容错
GFS 通过操作日志对 1）命名空间和 2）chunk 与文件名的映射表提供容错功能，3）chunk 副本的位置保存在 Chunk
Server 上，master 启动或由 Chunk Server 向 Master 注册时自动生成。
GFS 提供了 Master 远程实时备份。
Chunk Server 容错;，分布存储在不同 Chunk Server 上
5. MapReduce 操作执行流程
(1)MapReduce 函数首先把输入文件分成 M 块
(2)分派的执行程序中有一个主控程序 Master
(3)一个被分配了 Map 任务的 Worker 读取并处理相关的输入块
(4)这些缓冲到内存的中间结果将被定时写到本地硬盘，这些数据通过分区函数分成 R 个区
(5)当 Master 通知执行 Reduce 的 Worker 关于中间<key,value>对的位置本地硬盘上读取缓冲的中间数据时，它调用远
程过程,从 Map Worker 的
(6)Reduce Worker 根据每一个唯一中间 key 来遍历所有的排序后的中间数据并且把 key 和相关的中间结果值集合传递给
用户定义的 Reduce 函数
(7)当所有的 Map 任务和 Reduce 任务都完成的时候，Master 激活用户程序
*通过 MapReduce 完成排序（用于衡量分布式数据处理框架的数据处理能力）
① Split 所有数据分割成 N 个数据块
② 每个数据块启动一个 map 处理，按照首字母分配字符串
③ 每个 map 中形成 26 个桶装入字符串（并排序）
资源评论
