zoukankan      html  css  js  c++  java
  • (转)JobTracker和TaskTracker概述

    一 概述:

    (1)Hadoop MapReduce采用Master/Slave结构。
    *Master:是整个集群的唯一的全局管理者,功能包括:作业管理、状态监控和任务调度等,即MapReduce中的JobTracker。
    *Slave:负责任务的执行和任务状态的回报,即MapReduce中的TaskTracker。
     
     

    二 JobTracker剖析:

     
    (1)概述:JobTracker是一个后台服务进程,启动之后,会一直监听并接收来自各个TaskTracker发送的心跳信息,包括资源使用情况任务运行情况等信息。
     
    (2)JobTracker的主要功能:
    1.作业控制:在hadoop中每个应用程序被表示成一个作业,每个作业又被分成多个任务,JobTracker的作业控制模块则负责作业的分解和状态监控。
    *最重要的是状态监控:主要包括TaskTracker状态监控、作业状态监控和任务状态监控。主要作用:容错和为任务调度提供决策依据。
    2.资源管理
     
     

    三 TaskTracker剖析:

     
    (1)TaskTracker概述:TaskTracker是JobTracker和Task之间的桥梁:
                一方面,从JobTracker接收并执行各种命令:运行任务、提交任务、杀死任务等;
                另一方面,将本地节点上各个任务的状态通过心跳周期性汇报给JobTracker。TaskTracker与JobTracker和Task之间采用了RPC协议进行通信。
    (2)TaskTracker的功能:
    1.汇报心跳:Tracker周期性将所有节点上各种信息通过心跳机制汇报给JobTracker。这些信息包括两部分:
    *机器级别信息:节点健康情况、资源使用情况等。
    *任务级别信息:任务执行进度、任务运行状态等。
    2.执行命令:JobTracker会给TaskTracker下达各种命令,主要包括:启动任务(LaunchTaskAction)、提交任务(CommitTaskAction)、杀死任务(KillTaskAction)、杀死作业(KillJobAction)和重新初始化(TaskTrackerReinitAction)。
  • 相关阅读:
    CUDA中修饰符的解释
    [C] zintrin.h : 智能引入intrinsic函数。支持VC、GCC,兼容Windows、Linux、Mac OS X
    GPU优化方法[转]
    Angularjs实例2
    Angularjs实例1
    Services 在多个 controller 中共享数据。
    自定义AngularJS中的services服务
    AngularJS web应用程序
    AngularJS 表单
    在文件中的AngularJS模块
  • 原文地址:https://www.cnblogs.com/yytlmm/p/4843976.html
Copyright © 2011-2022 走看看