Hadoop hadoop(2.9.0)uber模式(小作业“ubertask”优化) 北漂

前言：

        在有些情况下，运行于Hadoop集群上的一些mapreduce作业本身的数据量并不是很大，如果此时的任务分片很多，那么为每个map任务或者reduce任务频繁创建Container，势必会增加Hadoop集群的资源消耗，并且因为创建分配Container本身的开销，还会增加这些任务的运行时延。如果能将这些小任务都放入少量的Container中执行，将会解决这些问题。好在Hadoop本身已经提供了这种功能，只需要我们理解其原理，并应用它。

Uber运行模式就是解决此类问题的现成解决方案。

uber运行模式：

Uber运行模式对小作业进行优化，不会给每个任务分别申请分配Container资源，这些小任务将统一在一个Container中按照先执行map任务后执行reduce任务的顺序串行执行。那么什么样的任务，mapreduce框架会认为它是小任务呢？

• map任务的数量不大于mapreduce.job.ubertask.maxmaps参数（默认值是9）的值;
• reduce任务的数量不大于mapreduce.job.ubertask.maxreduces参数（默认值是1）的值;
• 输入文件大小不大于mapreduce.job.ubertask.maxbytes参数（默认为1个Block的字节大小）的值；
• map任务和reduce任务需要的资源量不能大于MRAppMaster（mapreduce作业的ApplicationMaster）可用的资源总量；也就是说yarn.app.mapreduce.am.resource.mb必须大于mapreduce.map.memory.mb和mapreduce.reduce.memory.mb以及yarn.app .mapreduce.am.resource.cpu-vcores必须大于mapreduce.map.cpu.vcores和mapreduce.reduce.cpu.vcores以启用ubertask。 

参数mapreduce.job.ubertask.enable用来控制是否开启Uber运行模式，默认为false。

优化：该优化在单个JVM中按顺序运行“足够小”的作业。

以WordCount例

（1）限制任务的划分数量：

hadoop自带的Wordcount程序里面，MapReduce数量已经通过Job.setNumReduceTasks(int)方法已经设置为1，因此满足mapreduce.job.ubertask.maxreduces参数的限制。所以我们首先控制下map任务的数量，我们通过设置mapreduce.input.fileinputformat.split.maxsize参数来限制。看看在满足小任务前提，但是不开启Uber运行模式时的执行情况。执行命令如下：

[hadoop@master hadoop-2.9.0]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.9.0.jar wordcount -D mapreduce.input.fileinputformat.split.maxsize=6 /wc.input /wc.output_2

file wc.intput为25K  参数 mapreduce.input.fileinputformat.split.maxsize=6 是以k为单位，我这里在分片的时候指定的6K，所以，最终分的片为5个，从下图可以明显的看出来，处理的总文件为1，分片数量为5，uber模式为false；还可以看到一共6个map任务，一个reduce任务。

结果如下：

web界面查看：

 （2）开启uber模式

[hadoop@master hadoop-2.9.0]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.9.0.jar wordcount -D mapreduce.input.fileinputformat.split.maxsize=6 -D mapreduce.job.ubertask.enable=true /wc.input /wc.output_5

wc.input 35k

结果如下：

这里是是6个map任务和1个reduce任务，但是之前的数据本地map任务= 5一行信息已经变为当地的其他maptasks=6。此外还增加了TOTAL_LAUNCHED_UBERTASKS、NUM_UBER_SUBMAPS、NUM_UBER_SUBREDUCES等信息，如下图所示：

 

以下列出这几个信息的含义：

输出字段	描述
TOTAL_LAUNCHED_UBERTASKS	启动的Uber任务数
NUM_UBER_SUBMAPS	Uber任务中的map任务数
NUM_UBER_SUBREDUCES	Uber中reduce任务数

其他测试

由于我主动控制了分片大小，导致分片数量是6，这小于mapreduce.job.ubertask.maxmaps参数的默认值9。按照之前的介绍，当map任务数量大于9时，那么这个作业就不会被认为小任务。所以我们先将分片大小调整为20字节，使得map任务的数量刚好等于9，然后执行以下命令：

[hadoop@master hadoop-2.9.0]hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.9.0.jar wordcount -D mapreduce.input.fileinputformat.split.maxsize=20 -D mapreduce.job.ubertask.enable=true /wc.input /wc.output_6

file:wc.input 为172k

我们看到的确将输入数据划分为9份了其它信息如下

我们看到一共10个Uber模式运行的任务，其中包括9个map任务和1个reduce任务。

最后，我们再将分片大小调整为19字节，使得map任务数量等于10，然后执行以下命令：

[hadoop@master hadoop-2.9.0]hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.9.0.jar wordcount -D mapreduce.input.fileinputformat.split.maxsize=19 -D mapreduce.job.ubertask.enable=true /wc.input /wc.output_7

 

 我们看到的确将输入数据划分为10份了其它信息如下：

 

可以看到又重新显示了数据的本地map任务

此外，还可以通过调整reduce任务数量或者输入数据大小等方式，使得Uber失效，

 

其他参数优化：

1. 设置当map任务全部运行结束后才开始reduce任务（参数mapreduce.job.reduce.slowstart.completedmaps设置为1.0，默认0.05）。
2. 将当前Job的最大map任务尝试执行次数（参数mapreduce.map.maxattempts）和最大reduce任务尝试次数（参数mapreduce.reduce.maxattempts）都设置为1，默认为4。
3. 取消当前Job的map任务的推断执行（参数mapreduce.map.speculative设置为false）和reduce任务的推断执行（参数mapreduce.reduce.speculative设置为false），默认为。