华为专有和保密信息
版权所有 © 华为技术有限公司
目 录
HDFS .......................................................................................................................................... 4
1、基本概念 ..................................................................................................................... 4
【HDFS 基本架构】 ................................................................................................. 4
【客户端工具】 ....................................................................................................... 5
hdfs dfs .............................................................................................................. 5
hdfs dfsadmin .................................................................................................... 7
hdfs fsck ............................................................................................................. 9
【监控项介绍】 ..................................................................................................... 10
HDFS WEB UI 上的 block 块信息监控 ............................................................ 10
HDFS WEB UI 上的 datanode 节点信息监控 ................................................. 11
HDFS WEB UI 上的 hadoop 文件系统信息监控 ............................................ 12
【日志获取】 ......................................................................................................... 12
客户端日志 ..................................................................................................... 12
服务器端日志 ................................................................................................. 12
2、常见问题 ................................................................................................................... 15
【启动异常】 ......................................................................................................... 15
[HDFS-10001]元数据丢失导致 NameNode 启动失败 .................................. 15
[HDFS-10002]Editlog 损坏导致 NameNode 启动失败 .................................. 16
[HDFS-10003]账号锁定导致启动组件失败 ................................................... 17
[HDFS-10004]目录没权限导致启动组件失败 ............................................... 18
【状态异常】 ......................................................................................................... 19
[HDFS-20001]datanode 实例状态为 concerning ........................................... 19
[HDFS-20002]HDFS 服务的健康状态为 bad .................................................. 20
[HDFS-20003]namenode 进入到 safemode ................................................... 21
[HDFS-20004]NameNode 经常主备倒换 ....................................................... 22
[HDFS-20005]磁盘空间不足，进行容量扩容，采用挂载 NAS 方式替换原有
磁盘，NFS 服务问题导致 Datanode 异常 .................................................... 23
[HDFS-20006]datanode 概率性出现 CPU 占用接近 1000%，导致节点丢失
（ssh 连得很慢或者不上） ........................................................................... 24
【读写文件异常相关】 ......................................................................................... 25
[HDFS-30001]文件最大打开句柄数设置太小，导致文件句柄不足 ........... 25
[HDFS-30002]客户端写文件 close 失败 ........................................................ 26
[HDFS-30003]文件错误导致上传文件到 HDFS 失败 .................................... 28
[HDFS-30004]网络丢包/错包导致 HDFS 写大文件失败 ............................... 29
