zoukankan      html  css  js  c++  java
  • SparkShuffle是如何去拉取文件数据的

    首先来了解几个概念:

    1)     MapOutputTracker

    MapOutputTracker是Spark架构中的一个模块,是一个主从架构。管理磁盘小文件的地址。

    • MapOutputTrackerMaster是主对象,存在于Driver中。
    • MapOutputTrackerWorker是从对象,存在于Excutor中。

    2)     BlockManager

    BlockManager块管理者,是Spark架构中的一个模块,也是一个主从架构。

    • BlockManagerMaster,主对象,存在于Driver中。

    BlockManagerMaster会在集群中有用到广播变量和缓存数据或者删除缓存数据的时候,通知BlockManagerSlave传输或者删除数据。

    • BlockManagerWorker,从对象,存在于Excutor中。

    BlockManagerWorker会与BlockManagerWorker之间通信。

     无论在Driver端的BlockManager还是在Excutor端的BlockManager都含有四个对象:

    ①      DiskStore:负责磁盘的管理。

    ②      MemoryStore:负责内存的管理。

    ③      ConnectionManager:负责连接其他的 BlockManagerWorker。

    ④      BlockTransferService:负责数据的传输。

       Shuffle文件寻找文件的流程图

    Shuffle文件拉取流程:

    a)     当map task执行完成后,会将task的执行情况和磁盘小文件的地址封装到MpStatus对象中,通过MapOutputTrackerWorker对象向Driver中的MapOutputTrackerMaster汇报。

    b)     在所有的map task执行完毕后,Driver中就掌握了所有的磁盘小文件的地址。

    c)     在reduce task执行之前,会通过Excutor中MapOutPutTrackerWorker向Driver端的MapOutputTrackerMaster获取磁盘小文件的地址。

    d)     获取到磁盘小文件的地址后,会通过BlockManager(BlockManagerWork)中的ConnectionManager连接数据所在节点上的ConnectionManager(BlockManagerWork),然后通过BlockTransferService进行数据的传输。

    e)     BlockTransferService默认启动5个task去节点拉取数据。默认情况下,5个task拉取数据量不能超过48M。

  • 相关阅读:
    【每日算法】C语言8大经典排序算法(2)
    C++虚函数与纯虚函数的区别
    C++ 运算符优先级列表
    【每日算法】C语言8大经典排序算法(1)
    C++中的友元函数和友元类
    二叉树前序、中序、后序遍历相互求法
    【转】运算符重载的例析
    从一个二级题来看成员函数重载运算符和友元函数重载运算符
    测试用例管理之 TestLink
    【转】关于LoadRunner的迭代
  • 原文地址:https://www.cnblogs.com/yehuili/p/10466248.html
Copyright © 2011-2022 走看看