zoukankan      html  css  js  c++  java
  • YARN 工作原理

    YARN工作原理:

    1、用户向YARN 中提交应用程序或者,其中包括ApplicationMaster程序,启动ApplicationMaster命令,用户程序等。

    2、ResourceManager 为作业分配第一个Container,并与对应的NodeManager 通信,要求它在这个Container中启动该作业的ApplicationMaster.

    3、ApplicationMaster 首先向ResourceManager 注册,这样用户可以直接通过ResourceManager 查询作业的运行状态。然后为各个任务申请资源并监控任务的运行状态,直到运行结束。重复步骤(7)

    4、ApplicationMaster 采用轮询的方式通过RPC 请求向ResourceManager 申请和获取资源

    5、一旦AppllicationMaster 申请到资源,便与对应的NodeManager通信,要求它启动任务。

    6、NodeManager 启动任务

    7、各个任务通过RPC协议向ApplicationMaster 汇报自己的状态和进度,以便ApplicationMaster 随时掌握各个任务的运行状态,从而在任务失败的时候重启任务。

    8、作业完成之后,ApplicationMaster 向 ResourceManager 注销并关闭自己。

  • 相关阅读:
    Codeforces Round #365 Div.2
    Codeforces Round #363 Div.2[111110]
    花花的礼物 (huahua)
    FOI2019算法冬令营D1
    树(tree)
    noip2018
    1972: 最短路(shortest)
    2462: 收集(collecting)
    1282: 排列计数 perm
    1425: 数列(seq)
  • 原文地址:https://www.cnblogs.com/wbringarden/p/10247499.html
Copyright © 2011-2022 走看看