分布式数据库大作业
Hadoop MapReduce 云计算模型研究
1. 引言
Hadoop[1]是一个分布式系统基础架构，由 Apache 基金会开发。用户可以在
不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运
算和存储。简单地说来，Hadoop 是一个可以更容易开发和运行处理大规模数据
的软件平台。其包括两个部分：HDFS[2]和 MapReduce[3]。
DFS 即 HadoopDistributedFileSystem(Hadoop 分布式文件系统)，HDFS 具有高
容错性，并且可以被部署在低价的硬件设备之上。HDFS 很适合那些有大数据集
的应用，并且提供了对数据读写的高吞吐率。HDFS 是一个 master/slave 的结构，
就通常的部署来说，在 master 上只运行一个 Namenode，而在每一个 slave 上运
行一个 Datanode。HDFS 支持传统的层次文件组织结构，同现有的一些文件系统
在操作上很类似，比如你可以创建和删除一个文件，把一个文件从一个目录移到
另一个目录，重命名等等操作。Namenode 管理着整个分布式文件系统，对文件
系统的操作（如建立、删除文件和文件夹）都是通过 Namenode 来控制[4]。
MapReduce 是由 Google 提出的一种并行分布式编程模型[5-7]。用以进行大
数据量的计算。对于大数据量的计算，通常采用的处理手法就是并行计算。至少
现阶段而言，对许多开发人员来说，并行计算还是一个比较遥远的东西。
MapReduce 就是一种简化并行计算的编程模型，它让那些没有多少并行计算经验
的开发人员也可以开发并行应用。MapReduce 的名字源于这个模型中的两项核心
操作：Map 和 Reduce。也许熟悉 FunctionalProgramming（函数式编程）的人见
到这两个词会倍感亲切。简单的说来，Map 是把一组数据一对一的映射为另外的
一组数据，其映射的规则由一个函数来指定，比如对[1,2,3,4]进行乘 2 的映射就
变成了[2,4,6,8]。Reduce 是对一组数据进行归约，这个归约的规则由一个函数指
定，比如对[1,2,3,4]进行求和的归约得到结果是 10，而对它进行求积的归约结果
是 24。
2. MapReduce 的基本原理
