MapReduceV1：TaskTracker端启动Task流程分析资源-CSDN文库

42 浏览量 2021-02-01 16:11:44 上传评论收藏 983KB PDF 举报

资源推荐

资源详情

资源评论

MapReduceV1：：TaskTracker端启动端启动Task流程分析流程分析

我们基于Hadoop 1.2.1源码分析MapReduce V1的处理流程。

TaskTracker周期性地向JobTracker发送心跳报告，在RPC调用返回结果后，解析结果得到JobTracker下发的运行Task的指

令，即LaunchTaskAction，就会在TaskTracker节点上准备运行这个Task。Task的运行是在一个与TaskTracker进程隔离的

JVM实例中执行，该JVM实例是通过org.apache.hadoop.mapred.Child来创建的，所以在创建Child VM实例之前，需要做大量

的准备工作来启动Task运行。一个Task的启动过程，如下序列图所示：

通过上图，结合源码，我们将一个Task启动的过程，分为下面3个主要的步骤：

1.初始化跟踪Task运行的相关数据结构

2. 准备Task运行所共享的Job资源

3. 启动Task

下面，我们详细分析上面3个步骤的流程：

初始化跟踪Task运行的相关数据结构

如果是LaunchTaskAction，则TaskTracker会将该指令加入到一个启动Task的队列中，进行一步加载处理，如下所示：

``````````````

根据Task的类型，分别加入到对应类型的TaskLauncher的队列中。这里需要了解一下TaskLauncher线程类，在TaskTracker

中创建了2个TaskLauncher线程，一个是为启动MapTask，另一个是为启动ReduceTask。下面是TaskLauncher类的构造方

法：

构造方法中，参数taskType表示Task类型，分为MapTask和ReduceTask，参数numSlots表示对每一种类型的Task每个

TaskTracker上最多可以启动的Task的实例数，默认都是2个。在TaskTracker初始化时，会读取mapred-site.xml配置文件，读

取mapred.tasktracker.map.tasks.maximum和mapred.tasktracker.reduce.tasks.maximum配置的参数值，分别赋值给

maxMapSlots和maxReduceSlots这2个属性，如下TaskTracker构造方法中初始化这2个属性：

然后，在TaskTracker创建时，会根据上述maxMapSlots和maxReduceSlots的值来创建并启动2个TaskLauncher线程：

将LaunchTaskAction加入到TaskLauncher的队列中，这个是调用TaskLauncher的addToTaskQueue()方法：

上面方法中，最关键的就是registerTask()方法，调用该方法来初始化TaskTracker端Task对应TaskInProgress结构，代码如下

所示：

剩余8页未读，继续阅读

内容反馈

weixin_38593380

粉丝: 4
资源: 964

最新资源

资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！点击此处反馈

feedback-tip