Hadoop的调度器分为三类:
FIFO(先进先出调度器)
Capacity Scheduler (容量调度器)
Fair Scheduler (公平调度器)
注意:Hadoop2.7.2 默认的资源调度器为 容量调度器
区别:
FIFO:先进先出,同一时间队列中只有一个任务在执行
按照到达时间排序,先到先服务
1. 有新的服务器节点资源
2. Job1 里面包含 n个MapTask m个ReduceTask
3. 分配一个Task给该节点
容量调度器:多队列,每个队列内部先进先出,同一时间队列中只有一个任务在执行
队列的并行度为队列的个数
1. 支持多个队列,每个队列可以配置一定的资源量,每个队列采用FIFO调度策略
2. 调度器会对同一用户提交的作业所占资源量机型限定
3. 计算每个队列中正在运行的任务数 与 其应该分得的计算资源之间的比值,选择一个该比值最小的队列 (闲队列)
4. 按照作业优先级和提交时间顺序,同时考虑用户资源量限制和内存限制对队列内任务排序
5. 多个队列同时按照任务的先后顺序依次执行。
公平调度器:
多队列;按照缺额排序,缺额大者优先;支持多用户多队列;
缺额:资源有限的情况下,每个job获得的计算资源与实际获得的计算资源存在的差距 即为缺额
每个队列资源量可以配置,同一队列中的作业公平共享队列中的所有资源
同一队列中,Job的资源缺额越大,越先获得资源优先执行。作业按照缺额的高低来先后执行
每个队列内存按照缺额大小分配资源启动任务;
同一时间队列中有多个任务执行,队列的并行度大于等于队列的个数