zoukankan      html  css  js  c++  java
  • Hive调优参数配置

    Hive进行大数据处理的过程中经常遇到一个任务跑几个小时或者内存溢出等问题,平时会任务执行的遇到的问题
    进行参数的调整配置,收集整理的配置参考如下:
    set dfs.namenode.handler.count=20;
    set mapred.task.timeout=36000000;
    set hive.cbo.enable=true;
    set hive.compute.query.using.stats=true;
    set hive.stats.fetch.column.stats=true;
    set hive.stats.fetch.partition.stats=true;
    set hive.exec.parallel.thread.number=8;
    set hive.auto.convert.join=true;
    set hive.mapjoin.smalltable.filesize=25000;
    set hive.merge.mapfiles=true;
    set hive.merge.mapredfiles=true;
    set hive.merge.size.per.task=256000000;
    set mapred.max.split.size=256000000;
    set mapred.min.split.size.per.node=256000000;
    set mapred.min.split.size.per.rack=256000000;
    set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;
    set hive.merge.size.per.task=256000000;
    set hive.merge.smallfiles.avgsize=256000000;
    set hive.map.aggr.hash.percentmemory=0.25;
    set mapred.map.tasks.speculative.execution=true;
    set mapred.reduce.tasks.speculative.execution=true;
    set hive.mapred.reduce.tasks.speculative.execution=true; 
     
    set dfs.namenode.handler.count=20; 
    nameNode有一个工作线程池用来处理客户端的远程过程调用及集群守护进程的调用。处理程序数量越多意味着要更大的池来处理来自不同DataNode的并发心跳以及客户端并发的元数据操作。对于大集群或者有大量客户端的集群来说,通常需要增大参数dfs.namenode.handler.count的默认值10。设置该值的一般原则是将其设置为集群大小的自然对数乘以20,即20logN,N为集群大小。
     
    set mapred.task.timeout=36000000;
    job的超时属性,默认600000ms,即600s,可以通过设置该属性防止死循环,具体大小可根据任务的具体情况进行设定。
     
    set hive.cbo.enable=true;
    如果数据已经根据相同的key做好聚合,则去除多余的map/reduce作业
     
    set hive.cbo.enable=true;
    set hive.compute.query.using.stats=true;
    set hive.stats.fetch.column.stats=true;
    set hive.stats.fetch.partition.stats=true;
    COST BASED QUERY OPTIMIZATION(CBO) cbo可以优化hive的每次查询,使用CBO,需要开启上面四个选项。
     
  • 相关阅读:
    后缀零
    vs2019 MFC的安装 解决 此项目需要 MFC 库。从 Visual Studio 安装程序(单个组件选项卡)为正在使用的任何工具集和体系结构安装它们。
    矩形切割
    fsync: failed to connect to feed.openvas.org (89.146.224.58)
    How to Install GVM Trial With VMware Workstation Player/Pro
    GVM 21.04 (stable, initial release 20210416)
    gitlab 升级相关
    Adobe Reader XI 11.0.23 简体中文版
    gofileserver GO HTTP 文件下载服务器
    KVM 中安装 Windows 10 虚拟机、CentOS 8 虚拟机及快照操作
  • 原文地址:https://www.cnblogs.com/ultimateWorld/p/6957506.html
Copyright © 2011-2022 走看看