zoukankan      html  css  js  c++  java
  • MapReduce并行度机制

    MapTask的并行度指的是map阶段有多少个并行的task共同处理任务。map阶段的任务处理并行度,势必影响到整个job的处理速度。那么,MapTask并行实例是否越多越好呢?其并行度又是如何决定呢?

    一个MapReducejobmap阶段并行度由客户端在提交job时决定,即客户端提交job之前会对待处理数据进行逻辑切片。切片完成会形成切片规划文件(job.split,每个逻辑切片最终对应启动一个maptask

    逻辑切片机制由FileInputFormat实现类的getSplits()方法完成。

    FileInputFormat切片机制

    FileInputFormat中默认的切片机制:

    A.简单地按照文件的内容长度进行切片

    B.切片大小,默认等于block大小

    C.切片时不考虑数据集整体,而是逐个针对每一个文件单独切片

    比如待处理数据有两个文件:

    file1.txt 320M

    file2.txt 10M  

    经过FileInputFormat的切片机制运算后,形成的切片信息如下:

    file1.txt.split1—0M~128M

    file1.txt.split2—128M~256M

    file1.txt.split3—256M~320M

    file2.txt.split1—0M~10M

    FileInputFormat中切片的大小的参数配置

    FileInputFormat中,计算切片大小的逻辑:

    Math.max(minSize, Math.min(maxSize, blockSize)); 

    切片主要由这几个值来运算决定:

    minsize:默认值:1

    配置参数: mapreduce.input.fileinputformat.split.minsize

    maxsize:默认值:Long.MAXValue

    配置参数:mapreduce.input.fileinputformat.split.maxsize

    blocksize

    因此默认情况下,split size=block size,hadoop 2.x中为128M

    maxsize(切片最大值):参数如果调得比blocksize小,则会让切片变小,而且就等于配置的这个参数的。

    minsize (切片最小值):参数调的比blockSize大,则可以让切片变得比blocksize还大。

    但是,不论怎么调参数,都不能让多个小文件“划入”一个split

    还有个细节就是:

    bytesRemaining/splitSize > 1.1不满足的话,那么最后所有剩余的会作为一个切片。从而不会形成例如129M文件规划成两个切片的局面



  • 相关阅读:
    在线整数序列百科全书
    非常完整的线性DP及记忆化搜索讲义
    洛谷P2858 奶牛零食 题解 区间DP入门题
    HDU3394 Railway 题解(边双连通分量)
    POJ1144 Network 题解 点双连通分量(求割点数量)
    LibreOJ6279. 数列分块入门 3 题解
    LibreOJ 6278. 数列分块入门 2 题解
    LibreOJ 6277. 数列分块入门 1 题解
    洛谷P1020 导弹拦截 题解 LIS扩展题 Dilworth定理
    CF1272E. Nearest Opposite Parity 题解 广度优先搜索
  • 原文地址:https://www.cnblogs.com/TiePiHeTao/p/0eb21b7deab3eaeae9d1df5184b066f2.html
Copyright © 2011-2022 走看看