zoukankan      html  css  js  c++  java
  • Yarn资源调度管理

    1.ResourceManager(资源管理器RM)常驻守护进程:
      管理集群资源,负责全局资源的监控、分配和管理;
      接收来自nodemanager的心跳信息,进行整体资源的汇总;
      监控Applicacation Master的开启和创建;

    2.Nodemanager(节点管理器NM)常驻守护进程:
      yarn中的每一台节点服务器都运行一个nodemanager,Nodemanager相当于管理当前机器的一个代理;
      负责本台机器的程序运行,并且对本台机器资源进行管理和监控;
      Nodemanager定时向ResourceManager汇报本节点的资源(cpu、内存)使用情况;
      启动并监控Container(容器);

    3.Applicacation Master(应用节点)守护进程:
      用户提交一个应用将会产生相对应的Applicacation Master(AM),AM常驻在  Nodemanager上;
      每个AM都需要与Nodemanager进行资源协商,将获取所需的资源(Container)用于任务(Task)的运行
      监控任务(Task)的运行情况;
      如果Task运行失败,它将负责为其重新申请资源和启动任务;

    4.yarn调度方式

      1.先进先出调度

      2.容量调度

      3.公平调度

  • 相关阅读:
    ado.net(增删改)
    窗体基础WINFORM
    SQL函数类的操作,增加,查询
    SQL数据库,增加查询修改以及防sql写入攻击
    SQL数据库--数据访问
    单列模式
    SQL数据库基础————委托
    SQL数据库基础知识——抽象类
    SQL数据库——静态成员
    面向对象
  • 原文地址:https://www.cnblogs.com/lyr999736/p/9381679.html
Copyright © 2011-2022 走看看