11_尚硅谷大数据之HDFS_NameNode和SecondaryNameNode1
需积分: 0 5 浏览量
2022-08-03
22:37:19
上传
评论
收藏 185KB PDF 举报
五
NameNode
和
SecondaryNameNode
5.1 NN
和
2NN
工作机制
2 元数据的增删改请求
/user/atguigu/ss.avi
client
Secondary namenode
edits.inprogress
namenode
edits.001
edits.002
fsimage
内存128G
4 内存数据增删改查
1 加载编辑日志和镜像文件到内存
3记录操作日志、
更新滚动日志
1 请求是否需要checkpoint
2 请求执行checkpoint
3 滚动正在写的edits
edits.003
edits.inprogress
fsimag
e
edits.002
edits.003
4 拷贝到sn
内存
5 加载到内存并合并
fsimage.chkpoint
7 拷贝到nn
8重命名成fsimage
6 生成新的fsimage
checkpoint触发条件：
1）定时时间到
2）edits中的数据满了
NN&2NN工作机制
fsimage.chkpoint
（每个block占元数据150byte）
1）第一阶段：NameNode 启动
（1）第一次启动 NameNode 格式化后，创建 fsimage 和 edits 文件。如果不是第一次启
动，直接加载编辑日志和镜像文件到内存。
（2）客户端对元数据进行增删改的请求。
（3）NameNode 记录操作日志，更新滚动日志。
（4）NameNode 在内存中对数据进行增删改查。
2）第二阶段：Secondary NameNode 工作
（1）Secondary NameNode 询问 NameNode 是否需要 checkpoint。直接带回 NameNode
是否检查结果。
（2）Secondary NameNode 请求执行 checkpoint。
（3）NameNode 滚动正在写的 edits 日志。
（4）将滚动前的编辑日志和镜像文件拷贝到 Secondary NameNode。
（5）Secondary NameNode 加载编辑日志和镜像文件到内存，并合并。
（6）生成新的镜像文件 fsimage.chkpoint。
（7）拷贝 fsimage.chkpoint 到 NameNode。
（8）NameNode 将 fsimage.chkpoint 重新命名成 fsimage。
评论0