zoukankan      html  css  js  c++  java
  • 记录一下Hive中间和最终结果压缩

    中间Lzo,最终Gzip

     

    Java代码  收藏代码
    1. set mapred.output.compress = true;  
    2. set mapred.output.compression.codec = org.apache.hadoop.io.compress.GzipCodec;  
    3. set mapred.output.compression.type = BLOCK;  
    4.   
    5. set mapred.compress.map.output = true;  
    6. set mapred.map.output.compression.codec = org.apache.hadoop.io.compress.LzoCodec;  
    7.   
    8.   
    9. set hive.exec.compress.output = true;  
    10. set hive.exec.compress.intermediate = true;  
    11. set hive.intermediate.compression.codec = org.apache.hadoop.io.compress.LzoCodec;  

     

     

    中间Lzo,最终结果不压缩

     

    Java代码  收藏代码
    1. set mapred.output.compress = true;  
    2. set mapred.output.compression.codec = org.apache.hadoop.io.compress.LzoCodec;  
    3. set mapred.output.compression.type = BLOCK;  
    4.   
    5. set mapred.compress.map.output = true;  
    6. set mapred.map.output.compression.codec = org.apache.hadoop.io.compress.LzoCodec;  
    7.   
    8.   
    9. set hive.exec.compress.intermediate = true;  
    10. set hive.intermediate.compression.codec = org.apache.hadoop.io.compress.LzoCodec;  
     
  • 相关阅读:
    Fiddler实现手机抓包——小白入门
    linux中的baff/cache占用大量内存,如何清理?
    禁止用su切换到root
    Cookie和Session和token
    HTTP 与HTTPS
    Tcp/Ip的分层
    IP基础知识
    计算机基础<一>
    【java基础】内部类
    【JAVA基础】Java中四种权限修饰符
  • 原文地址:https://www.cnblogs.com/java20130722/p/3206947.html
Copyright © 2011-2022 走看看