zoukankan      html  css  js  c++  java
  • MapReduce学习笔记

    简单介绍:

    MapReduce思想在生活中处处可见。或多或少都曾接触过这种思想。MapReduce的思想核心是“分而治之”,适用于大量复杂的任务处理场景(大规模数据处理场景)。

    • Map负责“分”,即把复杂的任务分解为若干个“简单的任务”来并行处理。可以进行拆分的
    • 前提是这些小任务可以并行计算,彼此间几乎没有依赖关系。
    • Reduce负责“合”,即对map阶段的结果进行全局汇总。
    • MapReduce运行在yarn集群

    ResourceManagerNodeManager这两个阶段合起来正是MapReduce思想的体现。

    MapReduce 设计构思

    MapReduce是一个分布式运算程序的编程框架,核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序,并发运行在Hadoop集群上。MapReduce设计并提供了统一的计算框架,为程序员隐藏了绝大多数系统层面的处理细节。为程序员提供一个抽象和高层的编程接口和框架。程序员仅需要关心其应用层的具体计算问题,仅需编写少量的处理应用本身计算问题的程序代码。如何具体完成这个并行计算任务所相关的诸多系统层细节被隐藏起来,交给计算框架去处理:
    Map和Reduce为程序员提供了一个清晰的操作接口抽象描述。MapReduce中定义了如下的Map
    和Reduce两个抽象的编程接口,由用户去编程实现.Map和Reduce,MapReduce处理的数据类型
    是<key,value>键值对。
    Map: (k1; v1) → [(k2; v2)]
    Reduce: (k2; [v2]) → [(k3; v3)]
    一个完整的mapreduce程序在分布式运行时有三类实例进程:

    • MRAppMaster 负责整个程序的过程调度及状态协调
    • MapTask 负责map阶段的整个数据处理流程
    • ReduceTask 负责reduce阶段的整个数据处理流程

     MapReduce 编程规范

    Map 阶段 2 个步骤

    • 设置 InputFormat 类, 将数据切分为 Key-Value(K1和V1) 对, 输入到第二步
    • 自定义 Map 逻辑, 将第一步的结果转换成另外的 Key-Value(K2和V2) 对, 输出结果

    Shuffle 阶段 4 个步骤

    • 对输出的 Key-Value 对进行分区
    •  对不同分区的数据按照相同的 Key 排序
    • (可选) 对分组过的数据初步规约, 降低数据的网络拷贝
    • 对数据进行分组, 相同 Key 的 Value 放入一个集合中


    Reduce 阶段 2 个步骤

    • 对多个 Map 任务的结果进行排序以及合并, 编写 Reduce 函数实现自己的逻辑, 对输入的Key-Value 进行处理, 转为新的 Key-Value(K3和V3)输出
    • 设置 OutputFormat 处理并保存 Reduce 输出的 Key-Value 数据
  • 相关阅读:
    hdu 5366 简单递推
    hdu 5365 判断正方形
    hdu 3635 并查集
    hdu 4497 数论
    hdu5419 Victor and Toys
    hdu5426 Rikka with Game
    poj2074 Line of Sight
    hdu5425 Rikka with Tree II
    hdu5424 Rikka with Graph II
    poj1009 Edge Detection
  • 原文地址:https://www.cnblogs.com/Aming-/p/14209157.html
Copyright © 2011-2022 走看看