Hadoop job 的提交流程？
Hadoop1：
Mapreduce 程序 runjob（）启动一个 jobclient 实例，jobclient 通过 getnewjobid（）接口向
jobtracker 发送提交作业请求，jobtracker 返回作业 id（jobID 的格式如 job_201101281410_0001，
中间的字符串为 JT 的标识符，后面是 job 的序号，从 1 开始一直递增）和这个 job 的存放目录（JT
设置有一个工作目录，用来存储与每个 job 相关的数据，在这个目录后就得附加 user name 的信息，与
job 相关的资源文件存储的目录是工作目录+jobID）， JobClient 对数据源进行切片（split 并不包含
具体的数据信息，而只是包含数据的引用，map 任务会根据引用地址去加载数据），得到 job.splits
资源文件，每个 split 文件会分配一个 map 任务，Jobclient 将 job 执行需要的资源文件
（Jobclient 根据作业的输入文件计算数据块的划分，并将完成作业所需要的资源，包括 JAR 文件（包括
作业执行文件），job 需要的配置文件，job.split 文件），上传到 hdfs 的 jobtracker 的工作目录下
的 jobid 目录下（一些文件可能以冗余的方式存放多个节点上）， Jobclient 上传完之后，会朝
JobTracker 提交作业（实际上只是一个 Job ID 以及 Job 所在的 HDFS 文件目录等基本信息，他们之间
并 不 直 接 传 递 任 何计 算 数 据 和 资 源 数 据 ， 因 为 他们 都 是 HDFS 的 客 户 端 ， 都 可以 访 问 HDFS 系
统）Jobclient 通过 rpc 机制发送给 jobtracker，jobtracker 把这个作业放到队列中，一旦有空
闲资源，jobtracker 会把这个 job 从队列中取出来初始化，jobtracker 会访问 hdfs 的 job.split
文件,根据 split 信息文件，进行任务分配等操作，TaskTracker 通过心跳机制（可以设置，一
般为 3 秒），获取 Job 分给它的 task，tasktracker 会从 hdfs 中获取 job 的资源文件（jar 包、
参数），然后启动 java 的 jvm 的 child 进程，然后在虚拟机中运行 map task 和 reduce task，
一个 TaskTracker 可以启动很多个 JAVA 进程执行很多 Map 和 Reduce 任务，jobtracker 会监
控 task 的运行情况和重新执行
Hadoop2：
客 户 端 YarnRunner 调 用 getnewjobid() 方 法 向 resourcesmanager 发 送 提 交 作 业 请 求 ，
resourcesmanager 检查 job 的输出路径是否存在，如果存在则抛出异常，resourcemanager 然
后初始化用于存放 Job 相关资源的路径，然后设置客户端的 host 属性，返回给 jobclient 作
业 id 和作业资源的存放路径（还有 RM 能提供的最小、最大资源容量限度），Jobclient 以该路径
和 jobid 作为目录，把作业相关的的 jar 包（第三方 jar，job.jar），参数文件 ,和 job.split 文件
上传到 hdfs 的该路径下（当改程序运行完后删除这些数据，上传后还要被 DistributedCache 进行缓存
起来，这是因为计算节点收到该作业的第一个任务后，就会有 DistributedCache 自动将作业文件 Cache
到 节 点 本 地 目 录 下 ， 并 且 会 对 压 缩 文 件 进 行 解 压 ， 对 于 同 一 个 计 算 节 点 接 下 来 收 到 的 任 务
DistributedCache 不 会 重 复 去 下 载 作 业 文 件 ， 而 是 直 接 运 行 任 务 ） ， Jobclient 再 向 提 交
resourcemanager 提交作业 （实际上只是一个 Job ID 以及 Job 所在的 HDFS 文件目录等基本信息
（Client 再次将 Jar 存放地址(更为详细的描述)提交给 RM），他们之间并不直接传递任何计算数据和资源
数据，因为他们都是 HDFS 的客户端，都可以访问 HDFS 系统，调用 rm 的接口 请求启动二级调度的
appmaster，client 请求初始化成一个 task 任务，放到执行队列里面（默认 FIFO），当执行到这个 task
的时候会给该 job 分配资源）（调用 YARNRunner 类下的 submitJob()函数，提交 Job，传出相应的所需
参数(例如 JobID 等)），RM 将其放入调度器，会找空闲的 nodemanager 创建一个 container 容
剩余18页未读，继续阅读
资源评论
