zoukankan      html  css  js  c++  java
  • Yarn的调度器探究

    Hadoop的调度器分为三类:

      FIFO(先进先出调度器)

      Capacity Scheduler (容量调度器)

      Fair Scheduler (公平调度器)

        注意:Hadoop2.7.2 默认的资源调度器为 容量调度器

    区别:

      FIFO:先进先出,同一时间队列中只有一个任务在执行

        按照到达时间排序,先到先服务

        1. 有新的服务器节点资源

        2. Job1 里面包含 n个MapTask m个ReduceTask 

        3. 分配一个Task给该节点

      容量调度器:多队列,每个队列内部先进先出,同一时间队列中只有一个任务在执行

        队列的并行度为队列的个数

        1. 支持多个队列,每个队列可以配置一定的资源量,每个队列采用FIFO调度策略

        2. 调度器会对同一用户提交的作业所占资源量机型限定

        3. 计算每个队列中正在运行的任务数 与 其应该分得的计算资源之间的比值,选择一个该比值最小的队列 (闲队列)

        4. 按照作业优先级和提交时间顺序,同时考虑用户资源量限制和内存限制对队列内任务排序

        5. 多个队列同时按照任务的先后顺序依次执行。

      公平调度器:

        多队列;按照缺额排序,缺额大者优先;支持多用户多队列;

          缺额:资源有限的情况下,每个job获得的计算资源与实际获得的计算资源存在的差距 即为缺额

        每个队列资源量可以配置,同一队列中的作业公平共享队列中的所有资源

          同一队列中,Job的资源缺额越大,越先获得资源优先执行。作业按照缺额的高低来先后执行

        每个队列内存按照缺额大小分配资源启动任务;

        同一时间队列中有多个任务执行,队列的并行度大于等于队列的个数

      

  • 相关阅读:
    [C++]怎么将.h和.cpp文件分别放在不同的目录
    [C++]VAssistX文件头添加注释功能设置
    教程-Delphi调用百度地图API(XE8+WIN7)
    WebBrowser的各种使用方法(未完待续)(XE8+WIN7)
    Android教程-夜神模拟器连接IDE更新让Delphi发现你的手机或夜神模拟器
    首尔甜城常用电话
    Android问题-DelphiXE5开发Andriod连接Webservice乱码问题
    点乘的使用
    [转]脏读,不可重复读,幻读的理解
    Unity3D刚体不同力的测试(ForceMode,AddForce,RelativeAddForce)
  • 原文地址:https://www.cnblogs.com/joey-413/p/14111527.html
Copyright © 2011-2022 走看看