zoukankan      html  css  js  c++  java
  • 基于Cloudera Manager5配置HIVE压缩

    [Author]: kwu

    基于Cloudera Manager5配置HIVE压缩,配置HIVE的压缩。实际就是配置MapReduce的压缩,包含执行结果及中间结果的压缩。

    1、基于HIVE命令行的配置

    set hive.enforce.bucketing=true;
    set hive.exec.compress.output=true;
    set mapred.output.compress=true;
    set mapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec;
    set io.compression.codecs=org.apache.hadoop.io.compress.GzipCodec;

    在hive的命令下行执行如上代码就可以,这里用的是Gzip压缩。


    2、基于xml文件的压缩配置

    mapred-site.xml

    <property>
      <name>mapred.output.compress</name>
      <value>true</value>
      <description>Should the job outputs be compressed?
      </description>
    </property>
    <property>
      <name>mapred.output.compression.codec</name>
      <value>org.apache.hadoop.io.compress.GzipCodec</value>
      <description>If the job outputs are compressed, how should they be compressed?
      </description>
    </property>

    hive-site.xml

    <property>
      <name>hive.enforce.bucketing</name>
      <value>true</value>
    </property>
    <property>
      <name>hive.exec.compress.output</name>
      <value>true</value>
    </property>
    <property>
      <name>io.compression.codecs</name>
      <value>org.apache.hadoop.io.compress.GzipCodec</value>
    </property>

    3、基于Cloudera Manager5配置HIVE压缩

    1) 基于yarn的MR配置



    2) hive的配置


    添加例如以下内容

    <property>
      <name>hive.enforce.bucketing</name>
      <value>true</value>
    </property>
    <property>
      <name>hive.exec.compress.output</name>
      <value>true</value>
    </property>
    <property>
      <name>io.compression.codecs</name>
      <value>org.apache.hadoop.io.compress.GzipCodec</value>
    </property>

    配置完成,MapReduce包含hive执行结果以GZip进行压缩。


  • 相关阅读:
    将备份中的数据插入到数据库中的具体步骤
    C#三层架构(获取中文拼音和给密码加密)
    C# 三层架构项目体会(1)
    leetcode——Best Time to Buy and Sell Stock
    leetcode——Binary Tree Maximum Path Sum
    leetcode——Valid Palindrome
    leetcode——Word Ladder II
    学习制作SLG游戏(一)
    leetcode——Maximum Gap
    cocos2d学习资源收集
  • 原文地址:https://www.cnblogs.com/mfrbuaa/p/5342378.html
Copyright © 2011-2022 走看看