Hadoop公平调度器指南.pdf

公平调度是一种赋予作业（job）资源的方法，它的目的是让所有的作业随着时间的推移， 都能平均的获取等同的共享资源。当单独一个作业在运行时，它将使用整个集群。当有其它 作业被提交上来时，系统会将任务（task）空闲时间片（slot）赋给这些新的作业，以使得每 一个作业都大概获取到等量的 CPU 时间。与 Hadoop 默认调度器维护一个作业队列不同，这 个特性让小作业在合理的时间内完成的同时又不“饿”到消耗较长时间的大作业。它也是一 个在多用户间共享集群的简单方法。公平共享可以和作业优先权搭配使用——优先权像权重 一样用作为决定每个作业所能获取的整体计算时间的比例。 公平调度器按资源池（pool）来组织作业，并把资源公平的分到这些资源池里。默认情况 下，每一个用户拥有一个独立的资源池，以使每个用户都能获得一份等同的集群资源而不管 他们提交了多少作业。按用户的 Unix 群组或作业配置（jobconf）属性来设置作业的资源池也 是可以的。在每一个资源池内，会使用公平共享（fair sharing）的方法在运行作业之间共享容 量（capacity）。 你也可以给予资源池相应的权重，以不按比例的方式共享集群。 除了提供公平共享方法外，公平调度器允许赋给资源池保证（guaranteed）最小共享资源， 这个用在确保特定用户、群组或生产应用程序总能获取到足够的资源时是很有用的。当一个 资源池包含作业时，它至少能获取到它的最小共享资源，但是当资源池不完全需要它所拥有 的保证共享资源时，额外的部分会在其它资源池间进行切分。 在常规操作中，当提交了一个新作业时，公平调度器会等待已运行作业中的任务完成以 释放时间片给新的作业。但，公平调度器也支持在可配置的超时时间后对运行中的作业进行 抢占。如果新的作业在一定时间内还获取不到最小的共享资源，这个作业被允许去终结已运 行作业中的任务以获取运行所需要的资源。因此抢占可以用来保证“生产”作业在指定时间 内运行的同时也让Hadoop 集群能被实验或研究作业使用。另外，作业的资源在可配置的超时 时间（一般设置大于最小共享资源超时时间）内拥有不到其公平共享资源（fair share）的一半 的时候也允许对任务进行抢占。在选择需要结束的任务时，公平调度器会在所有作业中选择 那些最近运行起来的任务，以最小化被浪费的计算。抢占不会导致被抢占的作业失败，因为 Hadoop 作业能容忍丢失任务，这只是会让它们的运行时间更长。 最后，公平调度器还可以限制每用户和每资源池的并发运行作业数量。当一个用户必须 一次性提交数百个作业时，或当大量作业并发执行时，用来确保中间数据不会塞满集群上的 磁盘空间，这是很有用的。设置作业限制会使超出限制的作业被列入调度器的队列中进行等 待，直到一些用户/资源池的早期作业运行完毕。系统会根据作业优先权和提交时间的排列来 运行每个用户/资源池中的作业。