zoukankan      html  css  js  c++  java
  • Hadoop.2.x_MR-Shuffle过程

    1、map到reduce中间的一个过程

      洗牌,打乱(打乱我们传递的所有元素)(流程:input->map->reduce->output)

    2、map()->shuffle->reduce()

    map()接收数据,以wc为例,其中数据可是为<key,value>
    在map()中获取每一行文本内容使用String.split或其他分隔方法分隔文本内容,如<0,hadoop spark hdfs hadoop>
    分隔之后:<hadoop,1><spark,1><hdfs,1><hadoop,1>
    从map()输出数据到reduce()接收数据进入shuffle阶段
    经过shuffle到达reduce()
    数据格式与map()输出格式一致
    对数据value进行累加<hadoop,2><spark,1><hdfs,1>...
    输出格式key文本内容分隔体,value出现的次数
    输出到文本上的key与value以制表符	分隔
    

    3、shuffle过程

    map()输出结果->内存(环形缓冲区,当内存大小达到指定数值,如80%,开始溢写到本地磁盘)
    溢写之前,进行了分区partition操作,分区的目的在于数据的reduce指向,分区后进行二次排序,第一次是对partitions进行排序,第二次对各个partition中的数据进行排序,之后如果设置了combine,就会执行类似reduce的合并操作,还可以再进行压缩,因为reduce在拷贝文件时消耗的资源与文件大小成正比
    内存在达到一定比例时,开始溢写到磁盘上
    当文件数据达到一定大小时,本地磁盘上会有很多溢写文件,需要再进行合并merge成一个文件
    reduce拷贝copy这些文件,然后进行归并排序(再次merge),合并为一个文件作为reduce的输入数据
    

      

         

  • 相关阅读:
    DBAccess
    业务耗时及数组
    QB资料学习.01
    格式化参数
    日志记录.02_线程处理
    nginx 开启gzip
    js 变量提升和函数提升
    js 深拷贝 vs 浅拷贝
    js 伪数组 转 数组
    js 对象原型和原型链
  • 原文地址:https://www.cnblogs.com/eRrsr/p/5962001.html
Copyright © 2011-2022 走看看