zoukankan      html  css  js  c++  java
  • YARN 工作原理

    YARN工作原理:

    1、用户向YARN 中提交应用程序或者,其中包括ApplicationMaster程序,启动ApplicationMaster命令,用户程序等。

    2、ResourceManager 为作业分配第一个Container,并与对应的NodeManager 通信,要求它在这个Container中启动该作业的ApplicationMaster.

    3、ApplicationMaster 首先向ResourceManager 注册,这样用户可以直接通过ResourceManager 查询作业的运行状态。然后为各个任务申请资源并监控任务的运行状态,直到运行结束。重复步骤(7)

    4、ApplicationMaster 采用轮询的方式通过RPC 请求向ResourceManager 申请和获取资源

    5、一旦AppllicationMaster 申请到资源,便与对应的NodeManager通信,要求它启动任务。

    6、NodeManager 启动任务

    7、各个任务通过RPC协议向ApplicationMaster 汇报自己的状态和进度,以便ApplicationMaster 随时掌握各个任务的运行状态,从而在任务失败的时候重启任务。

    8、作业完成之后,ApplicationMaster 向 ResourceManager 注销并关闭自己。

  • 相关阅读:
    Promise
    ajax基础
    flex布局的盒子模型
    css3核心模块
    响应式开发
    HTML5标签及表单
    JS面向对象编程
    JS面向对象的编程
    ES5构造函数与ES6类
    类欧几里得算法
  • 原文地址:https://www.cnblogs.com/wbringarden/p/10247499.html
Copyright © 2011-2022 走看看