zoukankan      html  css  js  c++  java
  • Hive调优参数配置

    Hive进行大数据处理的过程中经常遇到一个任务跑几个小时或者内存溢出等问题,平时会任务执行的遇到的问题
    进行参数的调整配置,收集整理的配置参考如下:
    set dfs.namenode.handler.count=20;
    set mapred.task.timeout=36000000;
    set hive.cbo.enable=true;
    set hive.compute.query.using.stats=true;
    set hive.stats.fetch.column.stats=true;
    set hive.stats.fetch.partition.stats=true;
    set hive.exec.parallel.thread.number=8;
    set hive.auto.convert.join=true;
    set hive.mapjoin.smalltable.filesize=25000;
    set hive.merge.mapfiles=true;
    set hive.merge.mapredfiles=true;
    set hive.merge.size.per.task=256000000;
    set mapred.max.split.size=256000000;
    set mapred.min.split.size.per.node=256000000;
    set mapred.min.split.size.per.rack=256000000;
    set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;
    set hive.merge.size.per.task=256000000;
    set hive.merge.smallfiles.avgsize=256000000;
    set hive.map.aggr.hash.percentmemory=0.25;
    set mapred.map.tasks.speculative.execution=true;
    set mapred.reduce.tasks.speculative.execution=true;
    set hive.mapred.reduce.tasks.speculative.execution=true; 
     
    set dfs.namenode.handler.count=20; 
    nameNode有一个工作线程池用来处理客户端的远程过程调用及集群守护进程的调用。处理程序数量越多意味着要更大的池来处理来自不同DataNode的并发心跳以及客户端并发的元数据操作。对于大集群或者有大量客户端的集群来说,通常需要增大参数dfs.namenode.handler.count的默认值10。设置该值的一般原则是将其设置为集群大小的自然对数乘以20,即20logN,N为集群大小。
     
    set mapred.task.timeout=36000000;
    job的超时属性,默认600000ms,即600s,可以通过设置该属性防止死循环,具体大小可根据任务的具体情况进行设定。
     
    set hive.cbo.enable=true;
    如果数据已经根据相同的key做好聚合,则去除多余的map/reduce作业
     
    set hive.cbo.enable=true;
    set hive.compute.query.using.stats=true;
    set hive.stats.fetch.column.stats=true;
    set hive.stats.fetch.partition.stats=true;
    COST BASED QUERY OPTIMIZATION(CBO) cbo可以优化hive的每次查询,使用CBO,需要开启上面四个选项。
     
  • 相关阅读:
    Web安全学习笔记之更新kali国内源
    K8S学习笔记之二进制的方式创建一个Kubernetes集群
    K8S学习笔记之Kubernetes核心概念
    K8S学习笔记之修改K8S的api-server证书
    Docker学习笔记之Copy on Write机制
    ELK学习笔记之简单适用的ES集群监控工具cerebro安装使用
    ELK学习笔记之F5利用EELK进行应用数据挖掘系列(2)-DNS
    ELK学习笔记之F5利用ELK进行应用数据挖掘系列(1)-HTTP
    ELK学习笔记之F5-HTTP-requesting-logging logstash filter
    Debian 无线网卡驱动问题
  • 原文地址:https://www.cnblogs.com/ultimateWorld/p/6957506.html
Copyright © 2011-2022 走看看