HDFS-1073 Design Document
Todd Lipcon
todd@cloudera.com
December 8, 2018
Contents
1 Transaction IDs 2
1.1 Persistent Transaction IDs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.2 Non-namespace transactions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
2 Storage contents 3
3 Log Rolling 4
3.1 Triggers to roll logs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
3.2 Log rolling process . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
4 Startup behavior 4
4.1 Log recovery (primary NN) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
4.2 Log recovery (backup node) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
4.3 Image recovery . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
4.4 Namespace reconstruction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
4.5 Upgrade . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
5 saveNamespace process 6
5.1 Failure analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
6 Checkpoint process 6
6.1 Handling multiple secondary name nodes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
7 BackupNode operation 7
7.1 BackupNode state . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
7.2 BackupNode Startup . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
7.3 Receiving edits . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
7.3.1 Special edit records . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
7.3.2 Applying and journaling edits . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
7.4 Checkpointing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
7.5 Converging logs (TODO need to update this design for txid) . . . . . . . . . . . . . . . . . . 9
7.6 Handling multiple BNs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
1
剩余12页未读，继续阅读
评论0
最新资源