zoukankan      html  css  js  c++  java
  • hadoop中mapreduce的默认设置

    MR任务默认配置:

    job.setMapperClass() Mapper Mapper将输入的<key,value>对原封不动地作为中间结果输出
    job.setMapperOutputKeyClass() 与map结果的k类型一致 设置中间结果的key的类型
    job.setMapperOutputValueClass() 与map结果的v类型一致 设置中间结果的value的类型
    job.setReducerClass() Reducer Reducer将中间结果直接输出为最终结果。
    job.setOutputKeyClass() LongWriteable
    job.setOutputValueClass() Text
    job.setInputFormatClass() TextInputFormat 文本文件将文本文件的多行分成splits,并通过LineRecorderReader,将其中的每一行解析成<key,value>对
    job.setOutputFormatClass() TextOutputFormat TextOutputFormat将最终结果写成纯文本文件,每行一个<key,value>对,key和value之间用制表符分隔开来
    job.setCombinerClass() null 不合并中间结果
    job.setPartitionerClass() HashPartitioner HashPartitioner使用哈希函数完成Shuffle过程
  • 相关阅读:
    禁止文本被选中
    计算机的发展史及多道技术
    计算机基础知识
    自我介绍
    工作内容1
    在IT行业中的抄袭事件
    哎呀呀
    查看Oracle版本号的方式
    JAVA项目的基本配置
    Ajax请求返回结果为404问题
  • 原文地址:https://www.cnblogs.com/husky/p/6647296.html
Copyright © 2011-2022 走看看