zoukankan      html  css  js  c++  java
  • MapReduce 运行流程概要

    1、MapReduce 运行流程

    (1)、JobClient 调用 submitJob(),提交Job

    (2)、JobClient 向 JobTracker 请求一个新的JobId(调用 JobTracker.getNewJobId() )

    (3)、JobClient检查作业的输出说明,计算作业的输入分片,将运行作业所需要的资源 (Jar、配置文件、输入分片)复制到 HDFS中。

    (4)、JobClient告知 JobTracker , Job 准备执行 (调用 JobTracker.submitJob()

    (5)、JobTracker将对 submitJob()的调用 放入内部队列中,交给作业调度器 JobScheduler,并初始化

    (6)、作业调度器 Job Scheduler 从 HDFS中获取 JobClient 已经计算好的输入分片,为每一个分片创建一个Map Task,以根据配置创建Reduce Task

    (7)、TaskTracker 发送心跳 heartbeat, 获得 Task

    (8)、TaskTracker 将 Task 所需的Jar复制到本地,将应用程序从分布式缓存复制到本地。 TaskTracker 为Task 新建一个本地目录,将JAR解压到此。 TaskTracker 新建 TaskRunner。

    (9)、TaskRunner 启动一个新的 JVM ,运行每个Task。

    (10)、TaskTracker与 JobTracker 通过 umbilical接口通信,每隔几秒告知其进度。
  • 相关阅读:
    Linux 文件特殊权限
    Linux ACL权限
    Linux 用户管理命令
    Asm.js: Javascript的编译目标
    《Zero to One》的一些读书笔记
    Tomcat架构(四)
    Tomcat架构(三)
    Tomcat架构(二)
    Tomcat 架构 (一)
    MATERIAL DESIGN学习笔记
  • 原文地址:https://www.cnblogs.com/leeeee/p/7276502.html
Copyright © 2011-2022 走看看