Hadoop_MapReduce教程.doc

Hadoop Map/Reduce 教程[一]

编辑删除权限设置更多 ▼ 

更多 ▲ 

 设置置顶

 推荐日志

 转为私密日志

开心延年 发表于  年  月  日阅读评论分类：搜索与存储权限公开

今天浏览了下  的  文档，初步感觉这东西太牛逼了，听

么，他来管理，通常处理个几  的数据，只要你有机器那就小 。

 要分析的数据通常都是巨大的 级，网络  开销不可忽视，但分

析程序通常不会很大，所以他传递的是计算方法（程序），而不是数据文件，

所以每次计算在物理上都是在相近的节点上进行（同一台机器或同局域网），

大大降低的  消耗，而且计算程序如果要经常使用的话也是可以做缓存的。

 是一个分布式的文件系统，他就像一个管家，管理你数据的存放，

在物理上较远的地方会分别存放（这样一是不同的地方读取数据都很快，也起

到了异地容灾的作用），他会动态管理和调动你的数据节点，高强的容错处

理，最大程度的降低数据丢失的风险。



这篇教程从用户的角度出发，全面地介绍了 &'( 框架的各

个方面。

先决条件

请先确认 & 被正确安装、配置和正常运行中。更多信息见：

  

  

概述

存储在文件系统中。 整个框架负责任务的调度和监控，以及重新执行已经失败

的任务。

通常，( 框架和分布式文件系统是运行在一组相同的节点上的，也

就是说，计算节点和存储节点通常在一起。这种配置允许框架在那些已经存好

数据的节点上高效地调度任务，这可以使整个集群的网络带宽被非常高效地利

用。

( 框架由一个单独的 )!'*+#'和每个集群节点一个

),-')## 共同组成。)! 负责调度构成一个作业的所有任务，

这些任务分布在不同的 ),- 上，)! 监控它们的执行，重新执行已经失

败的任务。而 ),- 仅负责执行由 )! 指派的任务。

用 *- 来写 。

  

  

是一个与 

输入与输出

40!+,+,

接口。

一个 ('作业的输入和输出类型如下所示：

0 !'1#'-3'/3'map'/3'1#'-3'/3'combine'/3'1#'-3'/3'

reduce'/3'1#'-3'!!'

例子：WordCount v1.0

在深入细节之前，让我们先看一个 ( 的应用示例，以便对它们的工

作方式有一个初步的认识。

4 ! 是一个简单的应用，它可以计算出指定数据集中每一个单词出现

的次数。

.* /0**123-

4* /0**5-

*

6* ***7*-

8* ***7*5-

9* ****5-

* ****5-

* ****5-

*

* :!;

8*

9*

<<<< :0?:+,@ &30@1!>&3@ :A @ )

C123;

* <<<<<<B0*-

* <<<<<<&+D+DBC&+D-

* <<<<<<C+D*'&+;

* <<<<<<<<C*+D*3&+-

.* <<<<<<<<*C@-

4* <<<<<<E

*

<<<< :0&3+,@>:A0@1!>&3@:A@

)C123;

.* <<<<<<B-

.* <<<<<<C0*%3;

.* <<<<<<<<"B0*3*-

..* <<<<<<E

.4* <<<<<<*+,@C:-

.* <<<<E

.6* <<E

.8*

.9* <<:0FGC23;

.* <<<<$:!77BC$:!7!*-

4* <<<<7*$:%HCH-

4.* <<<<7*1J!:*-

44*

4* <<<<7*'!'*-

46* <<<<7*!:!)*-

48* <<<<7*)!)*-

49*

* <<<<$:!*$:7-

8* <<E

9* E

*

用法