Hive计算参数设置

在Hive计算中，经常会根据计算引擎的不同(hive on spark与hive on mr)，设置两套参数。

Spark参数：

set spark.master=yarn-cluster;                  #设置spark提交模式

set hive.execution.engine=spark;              #设置计算引擎

set spark.yarn.queue=queue_name;          #设置作业提交队列

set spark.app.name=job_name;                 #设置作业名称

set spark.executor.instances=20;                #设置执行器个数

set spark.executor.cores=4;                       #设置执行器计算核个数

set spark.executor.memory=8g;                #设置执行器内存

set mapred.reduce.tasks=600;                   #设置任务并行度

set spark.yarn.executor.memoryOverhead=2048;            #设置jvm对外内存

set spark.memory.fraction=0.8;                 #设置内存比例(spark2.0+)

set spark.serializer=org.apache.serializer.KyroSerializer;  #设置对象序列化方式

#设置动态分区

set hive.exec.dynamic.partition=true;

set hive.exec.dynamic.partition.mode=nonstrict;

set hive.exec.dynamic.partitions.pernode=10000;

set hive.exec.dynamic.partitions=10000;

---

MR参数：

set mapreduce.job.queuename=queue_name;         #设置作业提交队列

set hive.execution.engine=mr;                          #设置计算引擎

set mapreduce.map.memory.mb=4096;           #设置map内存

set mapreduce.map.java.opts=-Xmx3276;       #设置map jvm内存(小于map内存)

set mapreduce.reduce.memory.mb=4096;      #设置reduce内存

set mapreduce.reduce.java.opts=-Xmx3072;           ##设置reduce jvm内存(小于reduce内存)

#合并小文件

#Map输入合并小文件
set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat; #执行Map前进行小文件合并
set mapred.max.split.size=256000000; #每个Map最大输入大小
set mapred.min.split.size.per.node=100000000; #一个节点上split的至少的大小
set mapred.min.split.size.per.rack=100000000; #一个交换机下split的至少的大小

#输出合并
set hive.merge.mapfiles=true #在Map-only的任务结束时合并小文件
set hive.merge.mapredfiles=true #在Map-Reduce的任务结束时合并小文件
set hive.merge.size.per.task= 256*1000*1000 #合并文件的大小
set hive.merge.smallfiles.avgsize=16000000 #当输出文件的平均大小小于该值时，启动一个独立的map-reduce任务进行文件merge

#设置动态分区

set hive.exec.dynamic.partition=true;

set hive.exec.dynamic.partition.mode=nonstrict;

set hive.exec.dynamic.partitions.pernode=10000;

set hive.exec.dynamic.partitions=10000;