zoukankan      html  css  js  c++  java
  • Yarn一点小认识

    正文

      打开官网http://hadoop.apache.org/docs/r2.6.5/hadoop-yarn/hadoop-yarn-site/YARN.html,将图片拿过来。

      

      我用的是2.6.5的hadoop,2.x的yarn已经进行了升级。首相映入眼帘的是Resource Manager,我们在start-yarn.sh之后jps也可以看到我们的Resource服务。官网介绍了,Resource Manager是有两个组件组成的。The ResourceManager has two main components: Scheduler and ApplicationsManager.

      rm接收到MR程序也就是我们的Client,回去寻找一个合适得节点去创建MRAppMaster。RM主要就是去管理nodemanager和这些MRAppMaster。从图可以看出来,每个node节点都有一个AppMstr, 而AppMaster的任务就是去创建需要多少个maptask,reducetask;AppMaster需要去解析MR程序,解析完毕后去RM申请资源,那么我们的资源就是图上的Container,Container就是要执行一个Task,一个node中会有多个Container也就是多个任务。

      Scheduler 的任务就是分配资源的应用程序,而ApplicationsManager负责提交任务的给哪个容器,如果失败会去重启服务。如果哪个node节点出现故障则不会影响到整体的节点。而1.x是有JobTracer来创建TaskTracer,所有的解析,监督,资源都是有JobTracer一人来干,如果哪个node出现问题,则会导致整体崩溃。

      简单的理解一下,解释的不是很详尽请多见谅,本来跟大家一起学习的态度,希望大家一起交流,希望大牛多多指点。

              i  want  to do something,i know i can do 

  • 相关阅读:
    (转)Xargs用法详解
    (转)运维老鸟教你安装centos6.5如何选择安装包
    (转)正则表达式与三剑客的使用技巧
    php OAuth服务端编写
    前端工程精粹(一):静态资源版本更新与缓存
    静态资源打包:一个javescript 的src引用多个文件,一个link引用多个CSS文件
    ie,cookie,域名与下划线
    HTML中css和js链接中的版本号
    PHP 优化详解
    jqury插件编写
  • 原文地址:https://www.cnblogs.com/hackerxiaoyon/p/7678357.html
Copyright © 2011-2022 走看看