zoukankan      html  css  js  c++  java
  • Hadoop分布式资源管理器Yarn、MR运行机制剖析

    介绍YARN组件的功能及应用场景

    1、ResourceManager(RM)

    RM是一个全局的资源管理器,集群中只有一个。它负责整个Hadoop系统的资源管理和分配,包括处理客户端请求、启动监控 ApplicationMaster、监控NodeManager、

    资源的分配与调度等。它主要由两个组件构成,即调度器(Scheduler)和应用程序管理器(ApplicationMaster,ASM)

    Scheduler 是一个集群资源调度器,根据集群的容量、队列等限制条件,将集群中的资源分配给各个正在运行的应用程序,以保障整个集群高效、合理的使用资源。

    需要注意的是:Scheduler是一个纯粹的资源调度器,它只负责调度Containers,不用关心任何与具体应用相关的工作。例如,他不会监控或者跟踪应用的执行状态,

    也不会去重启因程序失败或者其他错误而运行失败的任务。调度器仅根据每个应用程序的资源需求进行合理分配,而资源分配的单位用Container(容器)表示。

    Container是一个动态资源分配单位,他将CPU和内存封装起来,从而限定每个任务使用的资源量。

  • 相关阅读:
    ubuntu18.04登录界面背景图的更换
    java面向对象基础知识
    java语法+变量
    sql查询
    sql的增删改查
    事件概念和事件监听
    DOM对HTML元素的增删改操作
    DOM对HTML元素访问操作2
    DOM对HTML元素访问操作
    BOM模型中常用对象的介绍
  • 原文地址:https://www.cnblogs.com/ssqq5200936/p/13064460.html
Copyright © 2011-2022 走看看