HBase单点问题分析及分布式元数据管理方案
5星 · 超过95%的资源 需积分: 9 2 浏览量
2012-03-16
08:46:57
上传
评论
收藏 811KB DOCX 举报 
分布式 Namenode 解决单点问题
一、知识回顾
1、Namenode 和 Datanode
的体系架构采用主从结构，一个 集群由一个单一的 和多个
组成，是 的主服务器，主要负责管理文件系统的元数据。
负责存储文件的数据块。下面具体描述 和 的功能。
的功能主要有以下几点：
管理元数据和数据块
也可以称为元数据节点，它的主要功能就是管理文件的元数据信息。
中文件的元数据信息包括命名空间、文件到数据块的映射、数据块到数据节点的
映射三部分。还会对文件的数据块进行管理，包括创建新数据块、复制数
据
块、移除无效数据块以及回收孤立数据块等内容。
持久化元数据
为了加快元数据的访问，一般将文件的元数据存储在内存中，但为了元数
据的安全性，还会将元数据持久化到硬盘中。将元数据的修改操作记
录在事务日志中，事务日志一般存储在 节点的硬盘中。Namenode 将元数据信
息存储在 FsImage 文件中，持久化的元数据信息包括文件属性、文件到数据块的映射，而
数据块到数据节点的映射是在文件按系统启动时 Datanode 汇报给 Namenode 的，因此并
不需要将这些信息持久化。
处理请求
还负责处理客户端和 的请求。启动后会监听客户端和
的请求，对请求进行处理后返回结果。客户端的请求通常包括文件和目录的创建、
读写、重命名、删除，打开目录、移动目录等等。的请求一般包括数据块信息的
剩余24页未读，继续阅读
资源评论
walkmannick2017-11-10看起来不错，但是打不开呀
tigersjtu2012-09-21内容不错，细节讲得比较清楚。谢谢- r_fei2012-04-05技术上写得很清楚，但缺少项目本身来龙去脉的交代，让人无法了解具体应用场合。
- dc_3qyou2015-03-13内容不错 学习还是很实用
- daogehao2014-02-10非常细的东西，可作为了解使用
