zoukankan      html  css  js  c++  java
  • mapreduce (一) 物理图解+逻辑图解

    InputFormat类:
    该类的作用是将输入数据转换为map函数的输入数据。
    通过job.setInputFormatClass()方法进行设置,
    默认是TextInputFormat,将文本文件分成split(多行),由于测试数据较小,所以每个文本作为一个split了。
    并通过LineRecoderReader将行解析成<key,value>对。key为对应行在文件中的偏移量,value为行的内容。


    Mapper类:
    实现map()函数

    Combiner类:
    实现combine函数。合并中间结果中具有相同key的键值对。

     

  • 相关阅读:
    每日总结
    每日总结
    每日总结
    每日总结
    每日总结
    每日总结
    每日总结
    每日总结
    每日总结
    Windows邮件添加QQ邮箱
  • 原文地址:https://www.cnblogs.com/i80386/p/2668976.html
Copyright © 2011-2022 走看看