1. FIFO Scheduler 将所有的Applications放到队列中,先按照作业的优先级高低、再按照到达时间的先后,为每个app分配资源。如果第一个app需要的资源被满足了,如果还剩下了资源并且满足第二个app需要的资源,那么就为第二个app分配资源,and so on。
优点:简单,不需要配置。
缺点:不适合共享集群。如果有大的app需要很多资源,那么其他app可能会一直等待。
2. Capacity Scheduler CapacityScheduler用于一个集群(集群被多个组织共享)中运行多个Application的情况,目标是最大化吞吐量和集群利用率。 CapacityScheduler允许将整个集群的资源分成多个部分,每个组织使用其中的一部分,即每个组织有一个专门的队列,每个组织的队列还可以进一步划分成层次结构(**Hierarchical Queues**),从而允许组织内部的不同用户组的使用。
每个队列内部,按照FIFO的方式调度Applications。
当某个队列的资源空闲时,可以将它的剩余资源共享给其他队列。
3. Fair Scheduler FairScheduler允许应用在一个集群中公平地共享资源。默认情况下FairScheduler的公平调度只基于内存,也可以配置成基于memory and CPU。
当集群中只有一个app时,它独占集群资源。
当有新的app提交时,空闲的资源被新的app使用,这样最终每个app就会得到大约相同的资源。
可以为不同的app设置优先级,决定每个app占用的资源百分比。
FairScheduler可以让短的作业在合理的时间内完成,而不必一直等待长作业的完成。