zoukankan      html  css  js  c++  java
  • Hadoop基础(三十):Yarn资源调度器

    Yarn资源调度器

    Yarn是一个资源调度平台,负责为运算程序提供服务器运算资源,相当于一个分布式的操作系统平台,而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。

    1 Yarn基本架构

    YARN主要由ResourceManagerNodeManagerApplicationMasterContainer等组件构成,如图4-23所示

    4-23 Yarn基本架构

    2 yarn 工作机制

    1.Yarn运行机制,如图4-24所示。

     

    4-24  Yarn工作机制

     

    2.工作机制详解

     

    1MR程序提交到客户端所在的节点。

     

    2YarnRunnerResourceManager申请一个Application

     

    3RM将该应用程序的资源路径返回给YarnRunner。

     

    4)该程序将运行所需资源提交到HDFS

     

    5)程序资源提交完毕后,申请运行mrAppMaster。

     

    6RM将用户的请求初始化成一个Task。

     

    7)其中一个NodeManager领取Task任务。

     

    8)该NodeManager创建容器Container并产生MRAppmaster。

     

    9ContainerHDFS上拷贝资源到本地

     

    10MRAppmaster向RM 申请运行MapTask资源。

     

    11RM运行MapTask任务分配给另外两个NodeManager,另两个NodeManager分别领取任务创建容器。

     

    12MR向两个接收到任务的NodeManager发送程序启动脚本这两个NodeManager分别启动MapTask,MapTask对数据分区排序。

     

    13MrAppMaster等待所有MapTask运行完毕后,向RM申请容器,运行ReduceTask

     

    14ReduceTaskMapTask获取相应分区的数据。

     

    15)程序运行完毕后,MR会向RM申请注销自己。

    作业提交全过程

    1.作业提交过程之YARN,如图4-25所示。

     

    4-25 作业提交过程之Yarn

    作业提交全过程详解

    1作业提交

    1Client调用job.waitForCompletion方法,向整个集群提交MapReduce作业。

    2步:ClientRM申请一个作业id

    3步:RMClient返回该job资源的提交路径和作业id

    4Client提交jar包、切片信息和配置文件到指定的资源提交路径。

    5步:Client提交完资源后,向RM申请运行MrAppMaster

    2作业初始化

    6步:RM收到Client的请求后,将job添加到容量调度器中。

    7一个空闲的NM领取到该Job

    8步:NM创建Container并产生MRAppmaster

    9:下载Client提交的资源到本地。

    3任务分配

    10MrAppMasterRM申请运行多个MapTask任务资源。

    11RM运行MapTask任务分配给另外两个NodeManager,另两个NodeManager分别领取任务创建容器。

    4任务运行

    12MR向两个接收到任务的NodeManager发送程序启动脚本这两个NodeManager分别启动MapTask,MapTask对数据分区排序。

    13MrAppMaster等待所有MapTask运行完毕后,向RM申请容器,运行ReduceTask

    14ReduceTaskMapTask获取相应分区的数据。

    15程序运行完毕后,MR会向RM申请注销自己。

    5进度和状态更新

    YARN中的任务将其进度和状态(包括counter)返回给应用管理器, 客户端每秒(通过mapreduce.client.progressmonitor.pollinterval设置)向应用管理器请求进度更新, 展示给用户。

    6作业完成

    除了向应用管理器请求作业进度外, 客户端每5都会通过调用waitForCompletion()来检查作业是否完成时间间隔可以通过mapreduce.client.completion.pollinterval来设置作业完成之后, 应用管理器和Container会清理工作状态作业的信息会被作业历史服务器存储以备之后用户核查

    2.作业提交过程之MapReduce,如图4-26所示

    资源调度器

    目前,Hadoop作业调度器主要有三种:FIFOCapacity SchedulerFair SchedulerHadoop2.7.2默认的资源调度器是Capacity Scheduler。

    具体设置详见:yarn-default.xml文件

    <property>
        <description>The class to use as the resource scheduler.</description>
        <name>yarn.resourcemanager.scheduler.class</name>
    <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value>
    </property>

    1.先进先出调度器(FIFO),如图4-27所示

    2.容量调度器(Capacity Scheduler),如图4-28所示

     

    4-28容量调度器

     

    3.公平调度器(Fair Scheduler),如图4-29所示

     

    4-29公平调度器

     

    任务推测执行

     

    1.作业完成时间取决于最慢的任务完成时间

     

    一个作业由若干个Map任务和Reduce任务构成。因硬件老化、软件Bug等,某些任务可能运行非常慢。

     

    思考:系统中有99%Map任务都完成了,只有少数几个Map老是进度很慢,完不成,怎么办?

     

    2.推测执行机制

     

    发现拖后腿的任务,比如某个任务运行速度远慢于任务平均速度。为拖后腿任务启动一个备份任务,同时运行。谁先运行完,则采用谁的结果。

     

    3.执行推测任务的前提条件

     

    1每个Task只能有一个备份任务

     

    2当前Job已完成的Task必须不小于0.055%

     

    3开启推测执行参数设置。mapred-site.xml文件中默认是打开的。

    <property>
          <name>mapreduce.map.speculative</name>
          <value>true</value>
          <description>If true, then multiple instances of some map tasks may be executed in parallel.</description>
    </property>
    
    <property>
          <name>mapreduce.reduce.speculative</name>
          <value>true</value>
          <description>If true, then multiple instances of some reduce tasks may be executed in parallel.</description>
    </property>

    4.不能启用推测执行机制情况

       1)任务间存在严重的负载倾斜;

       2)特殊任务,比如任务向数据库中写数据。

    5.算法原理,如图4-20所示

    4-30 推测执行算法原理

  • 相关阅读:
    OSCP Learning Notes Buffer Overflows(3)
    OSCP Learning Notes Buffer Overflows(5)
    OSCP Learning Notes Exploit(3)
    OSCP Learning Notes Exploit(4)
    OSCP Learning Notes Exploit(1)
    OSCP Learning Notes Netcat
    OSCP Learning Notes Buffer Overflows(4)
    OSCP Learning Notes Buffer Overflows(1)
    OSCP Learning Notes Exploit(2)
    C++格式化输出 Learner
  • 原文地址:https://www.cnblogs.com/qiu-hua/p/13342124.html
Copyright © 2011-2022 走看看