zoukankan      html  css  js  c++  java
  • Hive Error : Java heap space 解决方案

     Java heap space问题一般解决方案:

    设置 set io.sort.mb=10; 排序所使用的内存数量,默认值是100M,和mapred.child.java.opts相对应,opts默认:-Xmx200m,则mb不能超过200M,否则会OOM。

    设置 set hive.map.aggr=true; 是否在 Map 端进行聚合,默认为True,会在map端进行部分数据端聚合操作。

    (可选)hive.groupby.mapaggr.checkinterval =100000; Map端进行聚合操作的数据条目,根据情况选择是否设置。

    设置 set hive.groupby.skewindata=true; 设置true后当数据出现倾斜时,Hive会自动进行负载均衡。

    当hive.groupby.skewindata选项设定为true时,查询计划会有两个MR Job。第一个MR Job 中,Map的输出结果集合会随机分布到Reduce 中,每个 Reduce 做部分聚合操作,并输出结果,这样处理的结果是相同的 Group By Key有可能被分发到不同的 Reduce 中,从而达到负载均衡的目的;第二个 MR Job 再根据预处理的数据结果按照 GroupByKey 分布到 Reduce 中,该过程可以保证相同的 GroupByKey 被分布给同一个Reduce,完成最终的聚合操作。

    来源: https://zlver.com 

  • 相关阅读:
    linux sleep用法
    linux下set命令的参数及用法
    给vim编辑器自动添加行号
    linux一些基本常识(三)
    shell脚本面试题
    linux下字符串的比较方式
    浅谈Windows API编程
    WIN32 API ------ 最简单的Windows窗口封装类
    Microsoft函数调用约定
    Android UI 设计规范
  • 原文地址:https://www.cnblogs.com/ultimateWorld/p/9050180.html
Copyright © 2011-2022 走看看