zoukankan      html  css  js  c++  java
  • 913每日博客

    今天了解MapReduce的部分知识。

    MapReduce 核心思想

    (1)分布式的运算程序往往需要分成至少 2 个阶段。
    (2)第一个阶段的 MapTask 并发实例,完全并行运行,互不相干。
    (3)第二个阶段的 ReduceTask 并发实例互不相干,但是他们的数据依赖于上一个阶段
    的所有 MapTask 并发实例的输出。
    (4)MapReduce 编程模型只能包含一个 Map 阶段和一个 Reduce 阶段,如果用户的业
    务逻辑非常复杂,那就只能多个 MapReduce 程序,串行运行。
    总结:分析 WordCount 数据流走向深入理解 MapReduce 核心思想。

    MapReduce 进程

    一个完整的 MapReduce 程序在分布式运行时有三类实例进程:
    (1)MrAppMaster:负责整个程序的过程调度及状态协调。

    (2)MapTask:负责 Map 阶段的整个数据处理流程。
    (3)ReduceTask:负责 Reduce 阶段的整个数据处理流程。

  • 相关阅读:
    什么是Java
    程序有问题解决方法
    面向对象三大特征
    实例变量和局部变量
    内存管理
    常见面试题(更新中)
    多态
    设计规则
    内部类
    编程英语
  • 原文地址:https://www.cnblogs.com/ruangongwangxiansheng/p/14161570.html
Copyright © 2011-2022 走看看