zoukankan      html  css  js  c++  java
  • 019 spark on yarn(Job的运行流程,可以对比mapreduce的yarn运行)

    1.大纲

      spark应用构成:Driver(资源申请、job调度) + Executors(Task具体执行)

      Yarn上应用运行构成:ApplicationMaster(资源申请、job调度) + Containers(Task具体执行)

      Driver有两种运行模式,导致结构不太一样

    2.client的情形

      Driver运行在提交job的机器上(执行spark-submit的机器)
      Driver运行在提交jar的机器上,任务运行在yarn上;Driver的功能是:申请资源运行AM,Job调度
      AM负责SparkTask运行所需要的资源的申请

      重要的步骤::
      Driver --> 向RM申请资源 --> 启动AM --> 向RM申请TAsk执行的资源
       |
       | Job调度
       |
      Executors中执行Task任务

      

    3.cluster的情形

      

      注意点:Driver运行在nodemanager中。

      然后,才会出现向下的三条虚线 

      Driver和Application合并
      AM <====> Driver:这个地方其实就是AM,在上图可以看见,Application Master中包含了spark的上下文,yarnCluster的调度。
      流程基本和MR类似

      

  • 相关阅读:
    邻接表
    分治
    当遇到error: stray '241' in program错误的解决方法
    cmd / msys2 添加到右菜单
    洛谷P1003 铺地毯
    【洛谷P3372】【模板】线段树 1
    【codevs1082】线段树练习 3
    【codevs1081】线段树练习 2
    【codevs1080】线段树练习1
    【洛谷P1731】生日蛋糕
  • 原文地址:https://www.cnblogs.com/juncaoit/p/6394385.html
Copyright © 2011-2022 走看看