zoukankan      html  css  js  c++  java
  • 2. Reduce 输出压缩

    当 Hive 将输出写入到表中时,输出内容同样可以进行压缩。
    属性hive.exec.compress.output控制着这个功能。 用户可能需要保持默认设置文件中的默认值false,这样默认的输出就是非压缩的纯文本文件了。
    用户可以通过在查询语句或执行脚本中设置这个值为true,来在当前会话中开启输出结果压缩功能。

    步骤1: 开启 Hive 最终输出数据压缩功能
      set hive.exec.compress.output=true;

    步骤2: 设置 mapreduce 最终数据输出压缩方式
      set mapreduce.output.fileoutputformat.compress.codec=org.apache.hadoop.io.compress.SnappyCodec;

    步骤3: 设置 mapreduce 最终数据输出压缩为块压缩
      set mapreduce.output.fileoutputformat.compress.type=BLOCK;

    步骤4: 测试一下输出结果是否是压缩文件
      insert overwrite local directory '/opt/module/datas/distribute-result' select * from emp distribute by deptno sort by empno desc;

  • 相关阅读:
    docker 镜像相关
    docker相关网站
    docker初识 一
    loadrunner Windows资源指标
    Codeforces Round #368 (Div. 2) Brain's Photos
    CodeForce 589J Cleaner Robot
    CodeForce 677I Lottery
    CodeForce 677D Boulevard
    CodeForce 589B Layer Cake
    Map的遍历
  • 原文地址:https://www.cnblogs.com/LIAOBO/p/13625818.html
Copyright © 2011-2022 走看看