zoukankan      html  css  js  c++  java
  • 基于Cloudera Manager5配置HIVE压缩

    [Author]: kwu

    基于Cloudera Manager5配置HIVE压缩,配置HIVE的压缩。实际就是配置MapReduce的压缩,包含执行结果及中间结果的压缩。

    1、基于HIVE命令行的配置

    set hive.enforce.bucketing=true;
    set hive.exec.compress.output=true;
    set mapred.output.compress=true;
    set mapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec;
    set io.compression.codecs=org.apache.hadoop.io.compress.GzipCodec;

    在hive的命令下行执行如上代码就可以,这里用的是Gzip压缩。


    2、基于xml文件的压缩配置

    mapred-site.xml

    <property>
      <name>mapred.output.compress</name>
      <value>true</value>
      <description>Should the job outputs be compressed?
      </description>
    </property>
    <property>
      <name>mapred.output.compression.codec</name>
      <value>org.apache.hadoop.io.compress.GzipCodec</value>
      <description>If the job outputs are compressed, how should they be compressed?
      </description>
    </property>

    hive-site.xml

    <property>
      <name>hive.enforce.bucketing</name>
      <value>true</value>
    </property>
    <property>
      <name>hive.exec.compress.output</name>
      <value>true</value>
    </property>
    <property>
      <name>io.compression.codecs</name>
      <value>org.apache.hadoop.io.compress.GzipCodec</value>
    </property>

    3、基于Cloudera Manager5配置HIVE压缩

    1) 基于yarn的MR配置



    2) hive的配置


    添加例如以下内容

    <property>
      <name>hive.enforce.bucketing</name>
      <value>true</value>
    </property>
    <property>
      <name>hive.exec.compress.output</name>
      <value>true</value>
    </property>
    <property>
      <name>io.compression.codecs</name>
      <value>org.apache.hadoop.io.compress.GzipCodec</value>
    </property>

    配置完成,MapReduce包含hive执行结果以GZip进行压缩。


  • 相关阅读:
    Pycharm 中的翻译工具
    服务器响应慢问题
    将博客搬至CSDN
    【索引】索引的介绍与优化
    【Java杂记】Equals 和 hashCode
    【Java】JVM(六)虚拟机字节码执行引擎
    【Java】JVM(五)、虚拟机类加载机制
    【Java】JVM(四)、虚拟机参数配置
    【Java】JVM(三)、Java垃圾收集器
    【Java】JVM(二)、Java垃圾收集算法
  • 原文地址:https://www.cnblogs.com/mfrbuaa/p/5342378.html
Copyright © 2011-2022 走看看