zoukankan      html  css  js  c++  java
  • yarn的基本组成和工作流程

    yarn是负责资源管理的,协调各个应用程序的资源使用情况

    一、基本组成

    yarn主要由以下几个部分组成

    1、resourcemanager

      主要负责资源的调度和应用程序的管理

      (1)调度器

      调度器是将系统中的资源分配给各个正在运行的应用程序。

      (2)应用程序管理

      负责管理所有applicationmaster

    2、nodemanager

      定时告诉resourceManger,node节点的资源使用情况;任务的启动与停止

    3、applicationmaster

      向resourceManager请求资源,监听任务的执行进度

    4、container

      资源的抽象(包括cpu,内存等信息),当applicationMaster向resourceManager请求资源的时候,就是以Container抽象资源的形式返回,

    限制资源的使用情况

    二、工作流程

    1、client想yarn提交一个应用程序

    2、resourceManager为改应用程序分配一个Container,与对应的nodeManager进行通信, 要求它在此container中启动appmaster

    3、appmaster向rm注册,这样用户可以直接通过rm查看应用程序的运行状态

    4、appmaster为各个任务想rm请求资源

    5、请求到资源后与nodeManager进行通信,要求启动任务

    6、启动任务

    7、各个任务向appmaster报告状态和进度

    8、appmaster向rm请求注销自己

  • 相关阅读:
    22.抽象类
    21.多态
    20.修饰符
    19.继承
    day46---MySQL数据库进阶(一)
    day45---mysql数据库基本操作初阶(二)
    day45---计算机安全项目(癞蛤蟆)
    day44---数据库初阶(一)
    day44---windows下安装MySQL-5.6.37
    day42---几种network IO模型
  • 原文地址:https://www.cnblogs.com/zhengqun/p/4920829.html
Copyright © 2011-2022 走看看