分布式存储系统：分布式存储系统：HDFS：：HDFS命名空间管理命名空间管理
技术教程技术教程
分布式存储系统：分布式存储系统：HDFS：：HDFS命名空间管理命名空间管理
1. 一、一、HDFS概述概述
1.1 HDFS的基本概念的基本概念
HDFS（Hadoop Distributed File System）是Hadoop项目的核心子项目之一，是一个分布式文件系
统，设计用于在商用硬件上存储和处理大规模数据集。HDFS被设计成适合运行于由一般商用机
器组成的大型集群上，这些机器通常包含廉价的硬件部件。HDFS提供高吞吐量的数据访问，非
常适合大规模数据集上的应用，为Web应用的数据处理和存储提供了通用的解决方案。
HDFS的基本概念包括：
• 块（块（Block））：HDFS中的文件被分割成块存储，每个块默认大小为128MB（在Hadoop
2.x版本中），块的大小可以通过配置进行调整。块的大小设计得较大，以减少寻址开
销，提高数据读写效率。
• 副本（副本（Replication））：为了提高数据的可靠性和可用性，HDFS中的每个块都有多个副
本，默认情况下，每个块有3个副本。副本分布在不同的节点上，以防止硬件故障导致数
据丢失。
• 元数据（元数据（Metadata））：HDFS的元数据包括文件系统命名空间信息（如文件和目录的名
称、属性）以及文件块的映射信息。元数据由NameNode节点负责管理。
1.2 HDFS的架构和组件的架构和组件
HDFS采用主从架构，主要由以下组件构成：
• NameNode：NameNode是HDFS的主节点，负责管理文件系统的命名空间和客户端对文
件的访问。它存储了文件系统元数据，包括文件和目录的名称、属性以及文件块的映射
信息。NameNode并不存储实际的数据块，而是存储数据块的位置信息。
• DataNode：DataNode是HDFS的从节点，负责存储实际的数据块。每个DataNode会定期
向NameNode发送心跳，报告自己的状态。NameNode根据DataNode的报告来监控数据块
的健康状态，并在必要时触发数据块的复制或删除。
• Secondary NameNode：Secondary NameNode并不是NameNode的备份，它的主要作用是
定期合并fsimage和editlog文件，以减少NameNode的启动时间。Secondary NameNode并不
参与数据块的读写操作，它只在NameNode请求时执行合并操作。
