没有合适的资源?快使用搜索试试~ 我知道了~
云存储及云计算使用(运维).docx
1.该资源内容由用户上传,如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
版权申诉
0 下载量 183 浏览量
2022-06-27
17:00:10
上传
评论
收藏 193KB DOCX 举报
温馨提示
试读
17页
云存储及云计算使用(运维).docx云存储及云计算使用(运维).docx云存储及云计算使用(运维).docx云存储及云计算使用(运维).docx云存储及云计算使用(运维).docx云存储及云计算使用(运维).docx云存储及云计算使用(运维).docx云存储及云计算使用(运维).docx云存储及云计算使用(运维).docx
资源推荐
资源详情
资源评论
关于云存储使用情况的探讨和分析
版本历史
版本说明/变更理由/变更
审批日期
变更说明:C:Create,初始创建;A:Add,增加内容;M:Mod,修改;D:Del,删除
一、Hadoop 的介绍及优缺点分析:..............................................................................................3
1、读写性能和数据安全.........................................................................................................3
2、易于扩展的集群架构.........................................................................................................3
3、有效分散集群压力.............................................................................................................4
4、高效的大数据分析.............................................................................................................4
二、目前使用情况及反馈...............................................................................................................5
1、目前线上 Hadoop 使用情况...............................................................................................5
2、针对目前线上环境的分析.................................................................................................5
3、关于 Hadoop 集群服务器的选用.......................................................................................7
4、关于 nineCloud..................................................................................................................8
5、HBase...................................................................................................................................8
6、监控...................................................................................................................................10
三、HBase 和 Oracle.....................................................................................................................10
四、HDFS 作为分布式存储的使用可能性分析............................................................................13
五、成功案例分析.........................................................................................................................14
六、发展方向.................................................................................................................................15
1、SaaS 方向 .........................................................................................................................1. 5
2、数据挖掘方向...................................................................................................................17
一、Hadoop 的介绍及优缺点分析:
Hadoop 一个分布式系统基础架构,由 Apache 基金会开发。用户可以在不了解分布式底
层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop 实现了
一个分布式文件系统 File System),简称 HDFS。Hadoop 拥有功能丰富的子项目,其中包括
HBase、Hive、ZooKeeper 等功能各异的子项目,灵活的使用这些项目可以轻松的做到云计
算平台的构建。
1、读写性能和数据安全
Hadoop 都是基于 HDFS 文件系统,HDFS 可以有效的提高系统的吞吐量,减少系统等待时
间。HDFS 是以磁盘为存储单位的,比如有三台服务器,每个服务器有三块硬盘,对于 HDFS
等于有九个写入单元,而传统的基于服务器的分布式存储等于只有三个写入单元。而且 HDFS
通过数据块进行备份的数据冗余机制,磁盘底层不需要而且不建议组建 RAID,所以在可使
用的磁盘空间上得到了更进一步的提升,而读写性能跟组建注重读写的 RAID 0 后的效果相
同。HDFS 对于磁盘读写速度的提升和对数据安全性的提升如下:
磁盘读写速度
(RAID0=HDFS>RAID[1+0]>RAID5>RAID1)
磁盘数据安全
(RAID1=HDFS>RAID[1+0]>RAID5>RAID0)
由此可见,HDFS 可以达到 RAID1 的数据冗余和 RAID0 的高速读写。在最新版本(测试版本
或者第三方的商业版本)的 Hadoop 中,Hadoop 提出了一个新的 Name NodeHA 功能,利用该
功能可以有效地规避老版本的 Name Node 节点单点问题。
2、易于扩展的集群架构
而且 Hadoop 中的 Data Node 方便扩展,可以在不停止服务的状态下动态的添加新的 Data
Node 节点进入集群,而且加入后也不需要重启整个集群,只需要正常配置 Data Node 节点
并启动该节点,Name Node 可以自动将该节点加入集群。为了方便集群启动时可以正常启动
新加入的 Data Node 需要对 Name Node 服务器上的 hosts 文件及 slaves 文件进行修改。
3、有效分散集群压力
Hadoop 采用动态存储资源分配,可以将数据更平衡的分布于不同的 Data Node 节点,
防止出现数据不平衡而造成部分 Data Node 节点请求过多,而其它 Data Node 节点没有请求
的情况。就算有新的 Data Node 节点加入集群,Hadoop 也可以通过一条命令简单的做到数
据的重新平衡。当然这个操作最好在使用量低的夜间进行。Hadoop 的数据的交换是不经过
Name Node 节点的,Name Node 上保存的文件是直接从 Data Node 上收集而来,所以当用户
使用 Hadoop 集群上的数据时,是直接从 Data Node 获取数据,这样做使得 Name Node 的压
力得到缓解。而且最新版的 Hadoop 还支持在一个 Hadoop 集群中分别创建多个 Name Node
节点,每个 Name Node 节点分别管理整个 HDFS 空间的一部分。使 HDFS 中的数据做到有效的
隔离,并且当一个 Name Node 节点出现问题,不至于影响到整个集群中数据的访问。
4、高效的大数据分析
HBase 作为 Hadoop 的一个子项目,主要用于数据的存储。HBase 适合于非结构化数据存
储的数据库。与常用的数据库不同的是 HBase 基于列的而不是基于行的模式。由于 HDFS 的
特点,所以 HBase 非常适合大数据量的数据分析。系统架构上和 Hadoop 相类似同样在进行
架构的扩展上十分的方便,当出现存储空间不足的情况时,只需要添加进去新的 Data Node
节点就可以了。
由于 HBase 是基于列的数据库,所以配合 Hive 可以发挥 BI 数据库的功能以达到数据分
析的作用。加上 HDFS 分布式存储的底层支持,使得其在进行数据分析、数据挖掘上有一定
的优势。但是 Hive 虽然提供了高级 SQL 的支持,但是对于专业的 BI 数据库上还略有不足针
对 BI/BO 工程师不是十分友善。
HBase 于 ZooKeeper 等项目的组合应用,可以保证 HBase 的 HMaster 节点没有单点的问
题出现。而 HBase 和 Pig 及 Hive 等项目一同使用时还能得到对高层 SQL 语言的支持。
剩余16页未读,继续阅读
资源评论
G11176593
- 粉丝: 6691
- 资源: 3万+
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功