zoukankan      html  css  js  c++  java
  • Hadoop开发常用的InputFormat和OutputFormat

    在用hadoop的streaming读数据时,如果输入是sequence file,如果用“-inputformat org.apache.hadoop.mapred.SequenceFileInputFormat”配置读的话,读入的数据显示的话为乱码,其实是因为读入的还是sequence file格式的,包括sequencefile的头信息在内.改为“inputformat org.apache.hadoop.mapred.SequenceFileAsTextInputFormat”即可正常读取。

    以下内容摘自其他地方,对inputformat和outputformat的一个粗略的介绍:

    Hadoop中的Map Reduce框架依赖InputFormat提供数据,依赖OutputFormat输出数据;每一个Map Reduce程序都离不开他们。Hadoop提供了一系列InputFormat和OutputFormat方便开发,本文介绍几种常用的。

     

    TextInputFormat
    用于读取纯文本文件,文件被分为一系列以LF或者CR结束的行,key是每一行的位置(偏移量,LongWritable类型),value是每一行的内容,Text类型。

    KeyValueTextInputFormat
    同样用于读取文件,如果行被分隔符(缺省是tab)分割为两部分,第一部分为key,剩下的部分为value;如果没有分隔符,整行作为 key,value为空

    SequenceFileInputFormat
    用于读取sequence file。 sequence file是Hadoop用于存储数据自定义格式的binary文件。它有两个子类:SequenceFileAsBinaryInputFormat,将 key和value以BytesWritable的类型读出;

    SequenceFileAsTextInputFormat,将key和value以 Text的类型读出。

    SequenceFileInputFilter
    根据filter从sequence文件中取得部分满足条件的数据,通过setFilterClass指定Filter,内置了三种 Filter,RegexFilter取key值满足指定的正则表达式的记录;PercentFilter通过指定参数f,取记录行数%f==0的记录;MD5Filter通过指定参数f,取MD5(key)%f==0的记录。

    NLineInputFormat
    0.18.x新加入,可以将文件以行为单位进行split,比如文件的每一行对应一个map。得到的key是每一行的位置(偏移量,LongWritable类型),value是每一行的内容,Text类型。

    CompositeInputFormat,用于多个数据源的join。

    TextOutputFormat,输出到纯文本文件,格式为 key + ” ” + value。

    NullOutputFormat,hadoop中的/dev/null,将输出送进黑洞。

    SequenceFileOutputFormat, 输出到sequence file格式文件。

    MultipleSequenceFileOutputFormat, MultipleTextOutputFormat,根据key将记录输出到不同的文件。

    DBInputFormat和DBOutputFormat,从DB读取,输出到DB,预计将在0.19版本加入。

    转自 http://www.cnblogs.com/xuxm2007/archive/2011/09/01/2161974.html

  • 相关阅读:
    如何刷博客园阅读量
    反反爬虫策略
    [爬虫]抓取知乎百万用户信息之总结篇
    [爬虫]抓取知乎百万用户信息之爬虫模块
    [爬虫]抓取知乎百万用户信息之Redis篇
    [爬虫]抓取知乎百万用户信息之自建代理池
    [爬虫]抓取百万知乎用户信息之HttpHelper的迭代
    [爬虫]抓取百万知乎用户设计之实体设计
    [爬虫]抓取百万知乎用户数据之爬取思路
    [深度学习]实现一个博弈型的AI,从五子棋开始(2)
  • 原文地址:https://www.cnblogs.com/ggjucheng/p/2465845.html
Copyright © 2011-2022 走看看