zoukankan      html  css  js  c++  java
  • Hadoop:输入,输出,key,value格式

    map: (K1, V1) → list(K2, V2)
    reduce: (K2, list(V2)) → list(K3, V3)
    
    (K1, V1):
    jobConf.setInputKeyClass(K1. class );
    jobConf.setInputValueClass(V1. class );
    
    list(K2, V2):
    job.setMapOutputKeyClass(K2.class);
    job.setMapOutputValueClass(V2.class); 
    
    list(K3, V3):
    jobConf.setOutputKeyClass(K3. class );
    jobConf.setOutputValueClass(V3. class )
    <strong>jobConf.setInputFormat(MyInputFormat. class );
    InputFormat:</strong>
    TextInputFormat:用于读取纯文本文件,文件被分为一系列以LF或CR结束的行,key是每一行的偏移量(LongWritable),value是每一行的内容(Text)。
    KeyValueTextInputFormat:用于读取文件,如果行被分隔符分割为两部分,第一部分为key,剩下的为value;若没有分隔符,整行作为key,value为空。
    SequenceFileInputFormat:用于读取SequenceFile,读取格式要与写出SequenceFileOutputFormat时设置的setOutputKeyClass与setOutputValueClass一致(key+value的格式)。
    SequenceFileInputFilter:根据filter从SequenceFile中取得满足条件的数据,通过setFilterClass指定Filter,内置了三种Filter,RegexFilter取key值满足指定的正则表达式的记录;PercentFilter通过指定参数f,取记录行数f%==0的记录;MD5Filter通过指定参数f,取MD5(key)%f==0的记录。
    例子:conf.setInputFormat(KeyValueTextInputFormat.class);
     
     
    <strong>jobConf.setOutputFormat(MyOutputFormat. class ); 
    setOutputFormat:</strong>
    TextOutputFormat:输出到纯文本文件,格式为key + “    ”+ value。
    NullOutputFormat:hadoop中的/dev/null,将输出送进黑洞。
    SequenceFileOutputFormat,输出SequenceFile文件,其具体格式与setOutputKeyClass,setOutputValueClass相关 ,如此SequenceFileInputFormat的读取格式应该与SequenceFileOutputFormat的输出格式一致(key+value的格式)
    MultipleSequenceFileOutputFormat, MultipleTextOutputFormat:根据key将记录输出到不同的文件,可以被重写 
    DBInputFormat和DBOutputFormat,从DB读取,输出到DB。
    例子:conf.setOutputFormat(TextOutputFormat.class);
  • 相关阅读:
    子数组的最大乘积
    重建二叉树
    只考加法的面试题
    找出发帖的水王问题
    寻找最近点对
    寻找最大的k个数问题
    寻找数组中 的最大值最小值
    数组中的最长递增子序列
    常用的百度API地图操作
    div 背景自适应
  • 原文地址:https://www.cnblogs.com/catWang/p/4380284.html
Copyright © 2011-2022 走看看