Hadoop任务调度器

所需积分/C币:9 2018-02-23 08:50:05 966KB PDF
收藏 收藏
举报

Hadoop任务调度器 基础知识 • Hadoop调度流程 • Hadoop自带调度器介绍 • 编写自己的Hadoop调度器 • 总结
董的博客 ongxicheng, org 基础知识 Task JobTracker Scheduler Heartbeat Heartbeat TaskTracker TaskTracker TaskTracker Map Reduce Map Map Reduce Map Map Reduce Task Task Task Task Task Task Task Task Task 董的博客 ongxicheng, org 基础知识 口 heartbeat √ TaskTracker周期性(默认为3s)调用RPC向 Job tracker汇报信息,形成 heartbeat √汇报信息包括 TaskTracker状态信息、Task运状况 在 口slot √资源划分单位 分为 map slo和 reduce slot两种 √由参数 mapred tasktracker [mapreduce]. tasks. maximum ix Hadoop调度沉程 董的博客 dongcheng. org ②2 notify ④ assignTasks0 ① submiWJobo Cient JobTracker TaskScheduler ⑤ task list TaskTracker TaskTracker TaskTracker ⑦ launch Task 董的博客 dongcheng. org Hado作业描述方式 JobInProgress TaskInProgress TaskInProgress TaskIn Progress Task Task Task Task Task Attempt Attempt Attempt Attempt ●●b●●● Attempt (任务失败) (推测式任务) (正常情况) 可概括为“三层多叉树” 董的博客 ongxicheng, org Hadoop )三级调度 所有调度器实际上均采用了三级调度策略,即为空闲 的slo依次选择一个队列、作业和任务 >队列( queue) 用户被划分到某个队列 每个队列分配一定量的资源 >作並度器。采用策略不同 提交时间 √优先级(5个优先级: VERY HIGH,HIGH, NORMAL LOW VERY LOW) >任务(1帖度器。田相同 √木地性Qn RRe-16caliy, fac 董的博客 Hadoop现有调度器 dongcheng. org √FIFO批处理调度器 √ Capacity Scheduler多用户调度器 √ Fair scheduler多用户调度器 董的博客 ongxicheng, org Hadoop现有调度器(FFO <has a free slot> 按到达时间排序,先来先服务 job1 job2 jobs job4 jobs job job7 job8 queue map task0 job1 map task1 reduce taskO map task2 reduce task1 map task3 <return a new task> reduce task2 map task4 map task 董的博客 Hadoop现有调度器(FHF 按到达时间排序,先来先服务 job1 job job job4 jobs job job7 job8 job1 failedTasks ndo BalttgitagReducesnopHksodi y/tasks speculative tasks map task3 map task reduce task0 reduce task2 map tasks reduce task1 map tasKs

...展开详情
试读 23P Hadoop任务调度器
立即下载 低至0.43元/次 身份认证VIP会员低至7折
抢沙发
一个资源只可评论一次,评论内容不能少于5个字
  • 分享达人

    成功上传6个资源即可获取
关注 私信 TA的资源
上传资源赚积分,得勋章
最新推荐
Hadoop任务调度器 9积分/C币 立即下载
1/23
Hadoop任务调度器第1页
Hadoop任务调度器第2页
Hadoop任务调度器第3页
Hadoop任务调度器第4页
Hadoop任务调度器第5页

试读结束, 可继续读2页

9积分/C币 立即下载 >