大数据HDFS架构原理.pdf

HDFS架构原理 HDFS（Hadoop Distributed File System）是一种分布式文件系统，基于Google发布的GFS论文设计开发。HDFS具有高容错、高吞吐量、大文件存储等特性，适合大文件存储、流式数据访问等场景，但不适合大量小文件、随机写入、低延迟读取等场景。 HDFS设计目标： 1. 硬件失效：HDFS需要监测硬件异常，并自动恢复数据。 2. 流式数据访问：HDFS基于流式方式读取数据，应用程序关注的是吞吐量，而非响应时间。 3. 存储数据较大：HDFS应用程序需要处理大量数据，典型的文件大小为GB到TB级别。 4. 数据一致性：HDFS采用WORM（Write Once Read Many）的数据读写模型，文件仅支持追加，而不允许修改。 5. 多硬件平台：HDFS易于运行不同的平台上。 6. 移动计算能力：HDFS采用就近原则，计算和存储采用就近原则，减少网络的负载，降低网络拥塞。 HDFS架构： HDFS架构主要采用主备模式，由NameNode、DataNode、Client三个部分组成： 1. NameNode：NameNode用于存储、生成文件系统的元数据，运行一个实例。 2. DataNode：DataNode用于存储实际的数据，将自己管理的数据块上报给NameNode，运行多个实例。 3. Client：支持业务访问HDFS，从NameNode、DataNode获取数据返回给业务，多个实例，和业务一起运行。 HDFS数据读取流程： 1. 业务应用调用HDFS Client提供的API打开文件。 2. HDFS Client联系NameNode，获取到文件信息（数据块、DataNode位置信息）。 3. 业务应用调用read API读取文件。 4. HDFS Client根据从NameNode获取到的信息，联系DataNode，获取相应的数据块。 5. HDFS Client会与多个DataNode通讯获取数据块。 6. 数据读取完成后，业务调用close关闭连接。 HDFS架构关键设计： 1. 高可靠性：HDFS需要监测硬件异常，并自动恢复数据。 2. 高吞吐量：HDFS基于流式方式读取数据，应用程序关注的是吞吐量，而非响应时间。 3. 大文件存储：HDFS支持存储TB-PB级别的数据。 4. 数据一致性：HDFS采用WORM（Write Once Read Many）的数据读写模型，文件仅支持追加，而不允许修改。 HDFS是一种高效、可靠、可扩展的分布式文件系统，适合大文件存储、流式数据访问等场景。