HDFS 数据存储系统浅析
摘 要 ： Hadoop Distributed File System ， 简 称 HDFS ， 是 一 个 分 布 式 文 件 系 统 。
HDFS 有着高容错性（fault-tolerant）的特点，并且设计用来部署在低廉的（low-cost）
硬件上。而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着
超大数据集（large data set）的应用程序。。本文主要有两部分组成，一部分是分析
HDFS 的基本特征和结构，比较它与其它分布式并行文件系统的异同点，从而理解 HDFS 的
设计思想和目标；另一部分是描述了 HDFS 的数据管理机制。HDFS 是一个适合部署在廉价
的机器上，具有高传输率、高容错性等特点的系统，以流的形式访问文件系统中的数据，从
而解决访问速度和安全性问题，非常适合大规模数据集上的应用。
关键词：Hadoop； HDFS；并行文件系统；大规模数据集
1 引言
Hadoop 是 Apache 下的一个子项目，它原先是 Nutch 项目的组成部分，于 2006 年
初从 Nutch 中分离出来成为一个独立的项目。Hadoop 是一种易于扩展的分布式计算架构，
能够将廉价 PC 节点联合起来提供大型计算服务。它完全使用 Java 语言开发，因而可以广
泛 运 行 在 多 种 软 硬 件 平 台 上 。 其 主 要 优 点 是 ： 可 扩 展 性 (Scalable) 、 低 成 本
(Economical)、高效性(E'cient)、可靠性(Reliable)。但是也有一些不足的地方，如：
1)与其他文件系统的兼容操作效率较低；
2)难以处理实时性要求较高的应用；
3)目前缺乏稳定版本的开发接口为应用造成障碍。
如图 1 所示，Hadoop 逻辑上分为两层：分布式文件系统 HDFS(Hadoop Distributed
File System)、MapReduce 并行计算框架。
Hadoop 分布式文件系统(Hadoop Distributed File System，HDFS)是开源云计算
软件平台 Hadoop 框架的底层实现部分，适合运行在通用硬件上的分布式文件系统，具有
高容错性，能提供高吞吐量的数据访问，非常适合于大规模数据集上的应用。
MapReduce 是在 HDFS 的基础上实现的并行框架，为用户提供容易使用的并行编程模
式，MapReduce 计算包括两个阶段，Map(映射)阶段和 Reduce(规约)阶段。首先，Map
函数把一组(Key,Value)输入，映射为一组中间结果 (Key,Value)，然后通过 Reduce 函数
把具有相同 Key 值的中间结果，进行合并化简。MapReduce 将计算作业分成许多小的单
元，同时数据也会被 HDFS 分为多个 Block，并且每个数据块被复制多份，保证系统的可靠
性，HDFS 按照一定的规则将数据块放置在集群中的不同机器上，以便 MapReduce 在数据
