zoukankan      html  css  js  c++  java
  • Hadoop 2.0 Yarn代码:NodeManager端代码分析_NM端各服务模块的启动

    1.概览

    以下介绍的NodeManager是如何启动和注册各个服务的

    主要涉及的Java文件

    hadoop-yarn-server-nodemanager下的包org.apache.hadoop.yarn.server.nodemanager

            NodeManager.java

    2.代码分析

    以下均在NodeManager.java中,NodeManager:当Hadoop启动时,NodeManager中的main函数被调用

    1).main函数

    • 输出信息到log日志中,创建NodeMananger对象,
    • 调用initAndStartNodeManager(false)

    2).initAndStartNodeManager函数

    • initAndStartNodeManager()函数被调用后,首先主要读取YarnConfiguration配置信息
    • 调用init()函数,进行初始化工作 见3)
    • 调用start()函数,主要操作是启动各个Service  见4)

    3).init函数

    • 进行基本的配置操作,例如从配置文件读入参数等
    • 创建并添加DeletionService、NodeHealthCheckerService到父类的一个ArrayList<Service>对象serviceList
    • 调用createNodeStatusUpdater()函数创建NodeStatusUpdater对象,再调用NodeManager的父类方法register将这个对象注册添加父类的ArrayList<Service>对象listeners中.
    • 调用createContainerManager()、createWebServer()函数和createNodeResourceMonitor函数创建ContainerManagerImpl对象、Service对象和NodeResourceMonitor对象,并将其添加到serviceList
    • ContainerManagerImpl注册到之前创建好的异步事件调度器AsyncDispatcher中,然后将将AsyncDispatcher调度器添加到服务队列serviceList中
    • 最后添加NodeStatusUpdater对象到serviceList中,最后添加这个对象的原因是要在心跳操作启动必须在所有其他服务之后。
    • 调用父类的init()函数,进行其他的配置初始化。

    4)start函数

    • 进行安全认证操作
    • 调用父类的start()函数依次启动在3)中所有添加好的服务。其中AsyncDispatcher负责事件的传送,NodeStatusUpdater负责产生心跳事件,ContainerManagerImpl负责提供Hadoop RPC需要的函数等等

     下图给出整体关系,其中给出NodeStatusUpdater、AsyncDispatcherContainerManagerImpl三者的关系,以后代码分析很多地方将涉及到这三个类。

  • 相关阅读:
    「BZOJ1061」 [Noi2008]志愿者招募
    [POJ 2891] Strange Way to Express Integers (扩展中国剩余定理)
    扩展中国剩余定理学习笔记
    扩展欧几里得算法+推论
    SPOJ16607 IE1
    [Luogu P4124] [CQOI2016]手机号码 (数位DP)
    [UOJ 275/BZOJ4737] 【清华集训2016】组合数问题 (LUCAS定理的运用+数位DP)
    一些很妙的网站
    [Luogu P3157][CQOI2011]动态逆序对 (树套树)
    [Luogu P3203] [HNOI2010]弹飞绵羊 (LCT维护链的长度)
  • 原文地址:https://www.cnblogs.com/biyeymyhjob/p/2645576.html
Copyright © 2011-2022 走看看