zoukankan      html  css  js  c++  java
  • 4. MapReduce

    1. 来源和特点
        源自于Google的MapReduce论文 :  
        发表于2004年12月
        Hadoop MapReduce是Google MapReduce克隆版

        特点:
        易于编程
        良好的扩展性
        高容错性
        适合PB级以上海量数据的离线处理 

        不擅长的方面:
        实时计算
          像MySQL一样,在毫秒级或者秒级内返回结果
        流式计算
          MapReduce的输入数据集是静态的,不能动态变化
          MapReduce自身的设计特点决定了数据源必须是静态的(为了容错性)
        DAG计算
          多个应用程序存在依赖关系,后一个应用程序的输入为前一个的输出

    2. MapReduce 过程分析  —— wordcount 

     1. Input : 一系列key/value对
        用户提供两个函数实现:map(k,v) --> list(k1,v1) ; reduce(k1,list(v1)) --> v2
     2. output: (k2, v2)

    详细见下图:


    具体组件:
    1. InputFormat :
    文件分片(InputSplit)方法
      处理跨行问题
    将分片数据解析成key/value对
      默认实现是TextInputFormat
    TextInputFormat
      Key是行在文件中的偏移量,value是行内容
      若行被截断,则读取下一个block的前几个字符



    2. Split 与 Block :
    Block
      HDFS中最小的数据存储单位,默认是64MB
    Spit
      MapReduce中最小的计算单元
      默认与Block一一对应
    Block与Split
      Split与Block是对应关系是任意的,可由用户控制

    3. Combiner  (local reduce)

     Combiner可做看local reducer
       合并相同的key对应的value(wordcount例子)
       通常与Reducer逻辑一样
     好处
       减少Map Task输出数据量(磁盘IO)
       减少Reduce-Map网络传输数据量(网络IO) 

    4. Partitioner
        Partitioner决定了Map Task输出的每条数据交给哪个Reduce Task处理 
     默认实现:hash(key) mod R
       R是Reduce Task数目,允许用户自定义
     很多情况需自定义Partitioner
      比如“hash(hostname(URL)) mod R”确保相同域名的网页交给同一个Reduce Task处理

    5. 总结
    Map阶段
      InputFormat(默认TextInputFormat)
      Mapper
      Combiner(local reducer)
      Partitioner
    Reduce阶段
      Reducer
      OutputFormat(默认TextOutputFormat
          





  • 相关阅读:
    2.谈谈算法
    1.数据结构和算法笔记
    初次使用博客
    Unity中关于在一个场景中使用多个摄像机
    基于unity的单例设计模式写法
    unity3D读取Txt文件中信息
    转载雨松的unity中使用ITween插件和ITweenPath
    Unity3D游戏开发之数据持久化PlayerPrefs的使用
    [转载]Unity3d更改3d Text的字体的材质球的shader,使字体不显示
    C#写的Socket Server端在unity运行时和关闭时没事,但是在打开直接unity崩溃问题
  • 原文地址:https://www.cnblogs.com/51runsky/p/fa4edf8bf3387103685eff494981daad.html
Copyright © 2011-2022 走看看