zoukankan      html  css  js  c++  java
  • Spark架构中YarnCluster模式作业流程

    文字说明:

    1. shell脚本提交任务

    2. SparkSubmit 通过反射获取Client类里面的main方法并执行

    3. 客户端封装并发送指令 到 YarnResourceManager

    4. RM选择一台NodeManager启动ApplicationMaster

    5. AM启动Driver线程 来执行用户的程序作业

    6. AM向RM申请资源

    7. AM封装并发送指令到 Executor 所在的节点上

    8. 启动ExecutorBackend 并在其内部创建Executor对象

    9. ExecutorDriver注册

    10. DriverExecutor 分配任务     

    注意: Driver端做了

      1. 执行代码

      2. 初始化 SparkContext

      3. 任务的切分,分配任务

    画图说明:

     

  • 相关阅读:
    Nginx
    Influxdb
    Gitlab
    Git
    Gogs
    Dockerfile
    Docker Data
    My Projects
    中文学习
    科技精选
  • 原文地址:https://www.cnblogs.com/joey-413/p/14087357.html
Copyright © 2011-2022 走看看