zoukankan      html  css  js  c++  java
  • MapReduce 作业的生命周期

    # 最近在看Hadoop技术内幕之深入解析MapReduce架构设计与实现原理一书,可能会把我以为比较重要的知识点或模块通过博客记录下来,留给自己和大家。这本书也是刚刚开始看,加上以前自己对MapReduce的理解,如果有什么错的地方,请大家指出。


    今天就说一下MapReduce作业的生命周期,如下图(来自Hadoop技术内幕一书):



    1. 当用户 (Application)提交作业后,JobClient 将作业所需要的相关文件上传到HDFS,并通过RPC(远程调用协议)通知 JobTracker
    2. JobTracker 内 的任务调度模块 为作业 创建一个JobInProgress对象,用来跟踪作业的实时运行状况
    3. JobInProgress 为每个 Task 创建一个 TaskInProgress 对象,用来跟踪子任务的运行状态。
    4. TaskTracker 为任务运行准备环境 , 每个TaskTracker可以运行多个Task,TaskTracher会为每个Task启动一个独立的JVM以避免Task之间的相互影响
    5. 环境准备完毕后,TaskTracker便会启动Task。
    6. 所有的Task执行完毕,MapReudce作业生命周期结束。

    谢谢。

  • 相关阅读:
    一个BUG显示了IE7和IE6解析URL中中文参数能力的不同
    Winform+Webservice小结
    精通 JS正则表达式
    JSON
    Jquery
    MongoDB 驱动实践
    概要设计(总体设计)
    LINQ 学习
    MongoDB培训
    数据流程图(需求分析方法和建模工具)
  • 原文地址:https://www.cnblogs.com/dyllove98/p/3124992.html
Copyright © 2011-2022 走看看