没有合适的资源?快使用搜索试试~ 我知道了~
【HDFS篇14】HA高可用 --- Federation架构设1
需积分: 0 0 下载量 181 浏览量
2022-08-04
16:53:53
上传
评论
收藏 326KB PDF 举报
温馨提示
试读
2页
1. NameNode架构的局限性 2.HDFS Federation架构设计 3.HDFS Federation应用思考
资源详情
资源评论
资源推荐
NameNode NameNode NameNode
元数据 元数据 元数据
Log machine 电商数据/话单数据
心累的时候不妨停下来休息一下,好好收拾一下情绪在继续前进
Federation架构设计
1. NameNode架构的局限性
(1)Namespace(命名空间)的限制
由于NameNode在内存中存储所有的元数据(metadata),因此单个NameNode所能存储的
对象(文件+块)数目受到NameNode所在JVM的heap size的限制。50G的heap能够存储20亿
(200million)个对象,这20亿个对象支持4000个DataNode,12PB的存储(假设文件平均大小
为40MB)。随着数据的飞速增长,存储的需求也随之增长。单个DataNode从4T增长到36T,集
群的尺寸增长到8000个DataNode。存储的需求从12PB增长到大于100PB。
(2)隔离问题
由于HDFS仅有一个NameNode,无法隔离各个程序,因此HDFS上的一个实验程序就很有可能影
响整个HDFS上运行的程序。
(3)性能的瓶颈
由于是单个NameNode的HDFS架构,因此整个HDFS文件系统的吞吐量受限于单个NameNode的吞
吐量。
2.HDFS Federation架构设计
能不能有多个NameNode
白绍伟
- 粉丝: 12
- 资源: 287
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功
评论0