zoukankan      html  css  js  c++  java
  • Yarn框架的一般过程

    基本过程图:

     

    1. Clinet向ResouceManager发送Job请求

    2. ResouceManager接受到请求后在自身开启一个Container 来运行的ApplicationManager组件,ApplicationManager负责接下来的Job请求。

    3. ResourceManager(ApplicationManager)分配一个有闲置资源的NodeManager,由该NodeManager启动一个Container,并从HDFS上拷贝Job资源,然后运行ApplicationMaster作为本次Job的主节点。

    4. ApplicationMaster向ResourceManager(AppMgr)进行注册,注册之后Clinet就可以查询ResourceManager获得自己ApplicationMaster的详细信息,以后就可以和自己的ApplicationMaster直接交互。

    5. ApplicationMaster计算本次Job所需要的计算资源并向ResouceManager(ApplicationManager)请求资源路径。

    6. ResouceManager(ResourceScheduler)返回封装好的资源

    7. ApplicationMaster根据返回的资源将向各个NodeManager发送任务,开启Container,然后将 Map Task分发到各个Container中运行。

    8. ApplicationMaster实时监控各个MapTask的完成情况,当所有MapTask都完成后,重复5-7开始运行Reduce Task。(Reducer和Mapper不在同一个Container)

    9. Job完成后,ApplicationMaster向ApplicationsMgr申请注销自己。

  • 相关阅读:
    错误设置子网掩码的结果
    子网掩码
    网络笔记
    网络笔记
    命名空间
    命名空间
    多重继承和虚继承
    多重继承和虚继承
    windows抓包程序
    windows抓包程序
  • 原文地址:https://www.cnblogs.com/whoyoung/p/11170479.html
Copyright © 2011-2022 走看看