zoukankan      html  css  js  c++  java
  • Hive map/reduce数量

    map/reduce数量的多少是如何决定的?

    input目录下文件的大小和数量决定map任务的数量

    a) 假设input目录下有1个文件a,大小为780M,那么hadoop会将该文件a分隔成7个块(6个128m的块和1个12m的块),从而产生7个map数
    b) 假设input目录下有3个文件a,b,c,大小分别为10m,20m,130m,那么hadoop会分隔成4个块(10m,20m,128m,2m),从而产生4个map数。即,如果文件大于块大小(128m),那么会拆分,如果小于块大小,则把该文件当成一个块。

    不指定reduce个数的情况下,Hive会猜测确定一个reduce个数,基于以下两个设定:

    参数1:hive.exec.reducers.bytes.per.reducer(每个reduce任务处理的数据量,默认为1000^3=1G)
    参数2:hive.exec.reducers.max(每个任务最大的reduce数,默认为999)

    计算reducer数的公式很简单N=min(参数2,总输入数据量/参数1)

    调整map/reduce数量

    map/reduce的数量不是越多越好,启动和初始化的时间会远远大于逻辑处理的时间,造成资源浪费。

    在map执行前合并小文件,减少map数

    调整hive.exec.reducers.bytes.per.reducer参数的值

    调整set mapred.reduce.tasks = 15参数的值

  • 相关阅读:
    反射详解六
    反射详解五
    反射详解四
    反射详解三
    反射详解二
    mysql行转列
    mysql增删改查
    视图的使用
    js过滤
    错误集
  • 原文地址:https://www.cnblogs.com/swordspoet/p/14498763.html
Copyright © 2011-2022 走看看