zoukankan      html  css  js  c++  java
  • MapReduce学习总结之架构

    一、MapReduce1.x架构

    jobTracker.jpg

    1)jobTracker:JT

        作业的管理者

        将作业分解成一堆任务:Task(MapTask和ReduceTask)

        将任务分派给TaskTracker(TT)运行

        作业监控、容错处理(task作业挂了,重启task的机制)

        在一定的时间间隔内,JT没有收到TT的心跳信息,TT可能是挂了,TT上运行的任务会被指派到其他TT上去执行。

    2)TaskTracker:TT

        任务的执行者

        在TT上执行Task(MapTask和ReduceTask)

        会与JT交互:执行/启动/停止作业,发送心跳信息给JT

    3)MapTask

        自己开发的map任务交由task处理

        解析每条记录数据,交给自己的map方法处理

        将map的输出结果写到本地磁盘(有些作业仅有map,没有reduce,结果直接写到HDFS等数据存放库)

    4)ReduceTask

        将MapTask输出的数据进行读取

        按照数据进行分组传给我们自己写的reduce方法处理

        输出结果到HDFS等数据存放库

    二、MapReduce2.x架构

    031438244301264.png

  • 相关阅读:
    字串变换
    重建道路
    poj3278 Catch That Cow
    机器人搬重物
    [HNOI2004]打鼹鼠
    曼哈顿距离
    邮票面值设计
    poj1101 The Game
    解决了一个堆破坏问题
    模型资源从无到有一条龙式体验
  • 原文地址:https://www.cnblogs.com/jnba/p/10670794.html
Copyright © 2011-2022 走看看