5-分布式文件系统HDFS .ppt

HDFS采用了主从（Master/Slave）结构模型，一个HDFS集群包括一个名称节点和若干个数据节点。名称节点负责管理分布式文件系统的命名空间；数据节点是分布式文件系统HDFS的工作节点，负责数据的存储和读取 HDFS采用了冗余数据存储，增强了数据可靠性，加快了数据传输速度。HDFS还采用了相应的数据存放、数据读取和数据复制策略，来提升系统整体读写响应性能。HDFS把硬件出错看作一种常态，设计了错误恢复机制 本章最后介绍了HDFS的数据读写过程以及HDFS编程实践方面的相关知识 分布式文件系统HDFS，全称为Hadoop Distributed File System，是Apache Hadoop项目的核心组件之一，设计用于处理和存储海量数据。HDFS的核心理念是将大文件分割成多个固定大小的块，然后分布在集群中的多个数据节点（DataNodes）上，以此实现数据的冗余存储，提高系统的容错性和数据的可访问性。这种主从架构的模型由一个名称节点（NameNode）作为中心管理者，管理和协调整个文件系统的元数据，而数据节点则负责实际的数据存储和读取。 名称节点（NameNode）是HDFS的关键组件，它维护着文件系统的命名空间，即文件和目录的层次结构，以及文件块与数据节点之间的映射关系。名称节点保存的信息主要包含两部分：FsImage和EditLog。FsImage是一个持久化的文件，包含了HDFS的所有文件和目录的元数据，而EditLog则记录了自上次FsImage加载以来对文件系统所做的所有更改操作。 数据节点（DataNodes）是HDFS的工作者，它们存储实际的数据块，并执行数据的读写操作。每个数据节点都会定期向名称节点发送心跳信息，表明其状态和持有的数据块信息。当客户端请求读取或写入文件时，名称节点根据文件块的位置信息指引客户端与适当的数据节点进行通信。 HDFS的一个显著特点是采用了冗余数据存储，通常每个数据块会复制三份，分别存储在不同的数据节点上，以提供高可用性和容错性。如果某个数据节点出现故障，HDFS可以通过其他副本快速恢复数据，确保服务的连续性。 HDFS的存储原理基于文件的分块，每个文件被分割成多个64MB（默认配置）大小的块，这种设计考虑到了网络传输效率，因为大块的传输比小块更高效。同时，由于文件块的大小固定，可以简化存储管理和元数据管理，便于在集群中均衡数据分布。 在数据读写过程中，HDFS遵循“一次写入，多次读取”的原则，这意味着文件一旦写入，除非通过特定方式，否则不能被修改。这有利于保持数据一致性，但限制了对文件的并发写入和任意位置的修改。对于数据读取，HDFS会选择最近的或负载较低的数据节点来提供服务，优化读取速度。 HDFS的编程实践通常涉及使用Hadoop的Java API或HDFS Shell命令来与文件系统交互。开发人员可以利用这些接口进行文件的创建、读取、写入、删除等操作，也可以实现更复杂的分布式应用程序。 HDFS是一种设计用于大规模分布式计算环境的文件系统，它能够处理PB级别的数据，并且能够在普通的硬件设备上运行，降低了大数据存储和处理的门槛。尽管它在低延迟访问、小文件存储和多用户写入等方面存在局限性，但HDFS仍然是大数据处理领域不可或缺的基础组件。