分布式编程模式MapReduce应用[参考].pdf

分布式编程模式MapReduce应用 分布式编程模式 MapReduce 是一种简化的分布式编程模式，让程序自动分布到一个由普通机器组成的超大集群上并发执行。这种模式允许程序员可以不需要有什么并发处理或者分布式系统的经验，就可以处理超大的分布式系统资源。 作为 Hadoop 程序员，需要做的事情包括： 1、定义 Mapper，处理输入的 Key-Value 对，输出中间结果。 2、定义 Reducer，可选，对中间结果进行规约，输出最终结果。 3、定义 InputFormat 和 OutputFormat，可选， InputFormat 将每行输入文件的内容转换为 Java 类供 Mapper 函数使用，不定义时默认为 String。 4、定义 main 函数，在里面定义一个 Job 并运行它。 Hadoop 的架构包括 HDFS 和 MapReduce。HDFS 实现了 Google 的 GFS 文件系统，NameNode 作为文件系统的负责调度运行在 master，DataNode 运行在每个机器上。MapReduce 实现了 Google 的 MapReduce，JobTracker 作为 MapReduce 的总调度运行在 master，TaskTracker 则运行在每个机器上执行 Task。 在编写 MapReduce 程序时，需要创建 JobConf，定义 Mapper、Reducer、InputFormat 和输出文件目录，最后把 Job 提交给 JobTracker，等待 Job 结束。JobTracker 创建一个 InputFormat 的实例，调用它的 getSplits() 方法，把输入目录的文件拆分成 FileSplits 作为 Mapper 任务的输入，生成 Mapper 任务加入 Queue。TaskTracker 向 JobTracker 索求下一个 Map/Reduce 任务，Mapper 任务从 InputFormat 创建 RecordReader，循环读入 FileSplits 的内容生成 Key 与 Value，传给 Mapper 函数，处理完后中间结果写成 SequenceFile。Reducer 任务从运行 Mapper 任务的 TaskTracker 的 Jetty 上使用 HTTP 协议获取所需的中间内容，Sort/Merge 后，执行 Reducer 函数，最后按照 OutputFormat 写入结果目录。 通过使用 MapReduce，程序员可以轻松地处理超大的分布式系统资源，不需要有什么并发处理或者分布式系统的经验。MapReduce 的 run-time 系统会解决输入数据的分布细节，跨越机器集群的程序执行调度，处理机器的失效，并且管理机器之间的通讯请求。 在 Hadoop 中，Nutch 项目的全部数据处理都构建在 Hadoop 之上，详见 Scalable Computing with Hadoop。程序员可以使用 Hadoop 实现分布式的 Grep，简单对输入文件进行逐行的正则匹配，如果符合就将该行打印到输出文件。