HDFS架构
HDFS架构图
1
NameNode
2
SecondaryNameNode
3
DataNode
4
Hearbeats
5
Block块
6
目 录
一、HDFS架构图
HDFS的架构是较为经典的主/从架构，在架构图中NameNode是主节点，DataNode是从节点，HDFS Client是客户端、HDFS提供了比较丰富的客户端像cli、api、gui等等支持，SecondaryNameNode作为辅助NameNode工作的一个辅助节点。
HDFS架构图
二、NameNode
首先是NameNode，它是HDFS主从架构当中的主节点，其实主要负责接受客户端提交过来的读写请求、以及一些类似管理的工作，比如说，数据存到HDFS当中每个文件都会对应一份元数据信息，这些元数据信息都是存放在NameNode的内存当中、由NameNode来进行维护。
NameNode
三、SecondaryNameNode
SecondaryNameNode，属于NameNode的辅助结点，主要帮助NameNode完成元数据文件的合并处理工作，HDFS当中元数据持久化文件包含了fsimage、
《大数据平台构建：深入理解HDFS架构》
大数据技术的核心之一是分布式文件系统，而Hadoop Distributed File System（HDFS）则是其中的杰出代表。HDFS以其高容错性、可扩展性和高效的数据处理能力，成为了大数据存储和计算的基础。本文将深入探讨HDFS的架构及其关键组件，以期对这一重要技术有更全面的理解。
一、HDFS架构概览
HDFS遵循主从结构，由NameNode、SecondaryNameNode、DataNode和Client等关键组件构成。NameNode作为主节点，负责整体的元数据管理；DataNode作为从节点，承载实际的数据存储；SecondaryNameNode辅助NameNode进行元数据维护；而Client则作为用户与HDFS交互的接口。
1. NameNode：HDFS的指挥中心
NameNode是HDFS的核心，它存储着整个文件系统的元数据，包括文件与目录的映射关系、文件的Block列表及其在DataNode上的位置等。每当客户端发起读写请求，NameNode都会处理这些请求，决定数据的流向。NameNode的元数据存于内存中，确保快速访问，但这也意味着对NameNode的稳定性和可靠性有着极高的要求。
2. SecondaryNameNode：元数据守护者
SecondaryNameNode并非NameNode的热备份，而是协助NameNode管理元数据持久化的过程。它定期合并NameNode的fsimage（文件系统镜像）和edits（修改日志），防止NameNode的元数据文件过大，避免NameNode重启时恢复元数据的时间过长。
3. DataNode：数据存储基石
DataNode是HDFS的数据存储节点，它们分散在整个集群中，负责存储Block块。当文件被写入HDFS时，会被分割成多个Block并分别存储在不同的DataNode上，通常会有多个副本以保证数据的容错性。DataNode会定期向NameNode发送心跳信号，报告其健康状态和所存储的Block信息。
4. Heartbeats：节点间的心跳通信
Heartbeats是DataNode与NameNode之间保持联系的方式。DataNode每隔3秒发送一次心跳，告诉NameNode其当前的状态，包括可用的存储空间、正在执行的任务等。NameNode通过心跳来监控DataNode的健康状态，并据此调整数据分布和处理故障。
5. Block块：存储的基本单位
Block是HDFS中数据存储的最小单位，通常默认大小为128MB。文件写入HDFS时会被切割成Block，每个Block会有多个副本分布在不同DataNode上，以实现冗余和容错。当读取文件时，NameNode根据Block的位置信息指导Client到相应的DataNode读取数据。
习题答案：
1. HDFS的架构设计主要采用主从结构，包括一个NameNode作为主节点，多个DataNode作为从节点，同时有SecondaryNameNode辅助NameNode，Client作为用户接口，形成了一套高可用、高容错的分布式文件系统。
2. NameNode的作用主要包括：接收并处理客户端的读写请求，维护整个文件系统的元数据信息，以及监控DataNode的状态。
3. DataNode的主要作用是存储数据，接收NameNode的指令来读写Block，定期发送心跳信息以报告自身状态，以及存储文件Block的副本以提供容错能力。
4. HDFS中的Heartbeats是指DataNode周期性地向NameNode发送的通信信号，用于汇报DataNode的状态，包括存储情况、健康状况等，同时也是NameNode监控DataNode运行状态的重要方式。
通过以上解析，我们可以看到HDFS是如何通过这些组件协同工作，实现大规模、高可靠性的数据存储和处理。理解并掌握这些基础知识，对于构建和优化大数据平台至关重要。
