zoukankan      html  css  js  c++  java
  • Hadoop Yarn任务调度器

    目前,Hadoop作业调度器主要有三种:FIFOCapacity SchedulerFair SchedulerHadoop2.7.2默认的资源调度器是Capacity Scheduler。

    具体设置详见:yarn-default.xml文件

    <property>
        <description>The class to use as the resource scheduler.</description>
        <name>yarn.resourcemanager.scheduler.class</name>
        <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value>
    </property>

    1 FIFO调度器。先进先出,同一时间队列中只有一个任务在执行。

    2 容量调度器。多队列,每个对列内部先进先出,同一时间队列中只有一个任务在执行,队列的并行度为队列的个数。

    3 公平调度器。多队列,每个队列内部按照缺额大小分配资源启动任务,同一时间队列中有多个任务执行,队列的并行度大于等于队列的个数。

    在生产环境中,一般使用容量调度器或公平调度器。

  • 相关阅读:
    线程和进程
    Map和Collection
    数组
    泛型
    堆和栈
    Java的三大特性
    Log日志
    关系运算
    switch
    main 及Scanner
  • 原文地址:https://www.cnblogs.com/noyouth/p/13234835.html
Copyright © 2011-2022 走看看