zoukankan      html  css  js  c++  java
  • hadoop中的方法的作用

    /*
     * InputFormat类;
     * 
     * 作用:
     * 1.设置输入的形式;
     * 2.将输入的数据按照相应的形式分割成一个个spilts后再进一步拆分成<key,value>对作为Mapper的输入;
     * 3.默认使用TextInputFormat类进行处理;
     * 4.可以通过job.setInputFormatClass()方法进行设置;
     * 
     * */


    /*
     * Mapper类 
     * 
     * 作用:
     * 1.接受MapReduce框架处理后的<key,value>对;
     * 2.并且通过实现map()方法,转化为中间结果的<key,value>对;
     * 3.可以通过job.setMapperClass()进行设置;
     * 
     **/


    /*******Combiner类*****/
    /*
     * 作用:
     * 1.实现combine()方法,合并中间结果中具有相同key值的键值对;
     * 2.可以通过job.setCombinerClass()进行设置;
     * 
     * */


    /*
     * Partitioner类
     * 
     * 作用:
     * 1.用于在Shuffle过程中按照key值将中间数据分解成R份,每一份由一个Reducer负责处理;
     * 2.默认采用哈希函数完成Shuffle过程;
     * 3.可以通过job.setPartitionerClass()设置;
     * 
     */


    /*
     * Reducer类
     * 
     * 作用:
     * 1.实现reduce()方法
     * 2.将中间结果合并,得到最终结果;
     * 3.可以通过job.setReducerClass()设置; 
     */


    /*
     * OutputFormat类
     * 
     * 作用:设置Reducer过程输出最终结果键值对的类型;
     */


    /********OutputFormatClass类****************/
    /*
     * 作用:设置输出的结果的形式;
     * 
     * */


    分享至:http://bbs.csdn.net/topics/390536510

  • 相关阅读:
    m113
    无题
    m102 SE赛
    m101 真*sb($huge 全场最瞎$)
    m100 的坑
    m99 然而并没有想出来标题!
    m98 lsc rp-- 赛
    csps2019AFO祭
    csps考前的一些总结(然而可能并没有用)
    低错总结
  • 原文地址:https://www.cnblogs.com/JimLy-BUG/p/5153771.html
Copyright © 2011-2022 走看看