zoukankan      html  css  js  c++  java
  • 记录一下Hive中间和最终结果压缩

    中间Lzo,最终Gzip

     

    Java代码  收藏代码
    1. set mapred.output.compress = true;  
    2. set mapred.output.compression.codec = org.apache.hadoop.io.compress.GzipCodec;  
    3. set mapred.output.compression.type = BLOCK;  
    4.   
    5. set mapred.compress.map.output = true;  
    6. set mapred.map.output.compression.codec = org.apache.hadoop.io.compress.LzoCodec;  
    7.   
    8.   
    9. set hive.exec.compress.output = true;  
    10. set hive.exec.compress.intermediate = true;  
    11. set hive.intermediate.compression.codec = org.apache.hadoop.io.compress.LzoCodec;  

     

     

    中间Lzo,最终结果不压缩

     

    Java代码  收藏代码
    1. set mapred.output.compress = true;  
    2. set mapred.output.compression.codec = org.apache.hadoop.io.compress.LzoCodec;  
    3. set mapred.output.compression.type = BLOCK;  
    4.   
    5. set mapred.compress.map.output = true;  
    6. set mapred.map.output.compression.codec = org.apache.hadoop.io.compress.LzoCodec;  
    7.   
    8.   
    9. set hive.exec.compress.intermediate = true;  
    10. set hive.intermediate.compression.codec = org.apache.hadoop.io.compress.LzoCodec;  
     
  • 相关阅读:
    js(四) 全选/全不选和反选
    js(三) ajax异步局部刷新技术底层代码实现
    js(二) 实现省市联动(json)
    接口
    内部类
    封装
    Static关键字
    this关键字
    带参数的方法
    abstract关键字
  • 原文地址:https://www.cnblogs.com/java20130722/p/3206947.html
Copyright © 2011-2022 走看看