zoukankan      html  css  js  c++  java
  • mapreduce 读写lzo文件

    1.读lzo文件

    需要添加以下代码,并导入lzo相关的jar包
     job.setInputFormatClass(LzoTextInputFormat.class);


    2.写lzo文件

    lzo格式默认是不支持splitable的,需要为其添加索引文件,才能支持多个map并行对lzo文件进行处理


    如果希望reduce输出的是lzo格式的文件,添加下面的语句
            FileOutputFormat.setCompressOutput(job, true);
            FileOutputFormat.setOutputCompressorClass(job, LzopCodec.class);
            int result = job.waitForCompletion(true) ? 0 : 1;
            //上面的语句执行完成后,会生成最后的输出文件,需要在此基础上添加lzo的索引
            LzoIndexer lzoIndexer = new LzoIndexer(conf);
            lzoIndexer.index(new Path(args[1]));


    如果已经存在lzo文件,但没有添加索引,可以采用下面的方法,在输入路径的文件上上添加lzo索引
    hadoop jar $HADOOP_HOME/lib/hadoop-lzo-0.4.17.jar com.hadoop.compression.lzo.LzoIndexer hdf://inputpath

  • 相关阅读:
    1
    前端必读书籍推荐
    cn
    网站爬虫优化
    es学习
    适应移动端
    chrome禁止缓存,每次都最新的
    vue 源码环境
    [Java] 设计模式之工厂系列 04 (自定义模拟 spring 读取xml文件 beanFactory)
    [Java] JDOM 读取 xml 文件 示例程序初步
  • 原文地址:https://www.cnblogs.com/fuhaots2009/p/3455268.html
Copyright © 2011-2022 走看看