zoukankan      html  css  js  c++  java
  • 【Spark2.0源码学习】-7.Driver与DriverRunner

         承接上一节内容,Client向Master发起RequestSubmitDriver请求,Master将DriverInfo添加待调度列表中(waitingDrivers),下面针对于Driver进一步梳理
     
    一、Master对Driver资源分配
         大致流程如下:
         
         waitingDrivers与aliveWorkers进行资源匹配,
    • 在waitingDrivers循环内,轮询所有aliveWorker
    • 如果aliveWorker满足当前waitingDriver资源要求,给Worker发送LaunchDriver指令并将 waitingDriver移除waitingDrivers,则进行下一次waitingDriver的轮询工作
    • 如果轮询完所有aliveWorker都不满足waitingDriver资源要求,则进行下一次waitingDriver的轮询工作
    • 所有发起的轮询开始点都上次轮询结束点的下一个点位开始
     
    二、Worker运行DriverRunner
    Driver的启动,流程如下:
    • 当Worker遇到LaunchDriver指令时,创建并启动一个DriverRunner
    • DriverRunner启动一个线程【DriverRunner for [driverId]】处理Driver启动工作
    • 【DriverRunner for [driverId]】:
      • 添加JVM钩子,针对于每个diriverId创建一个临时目录
      • 将DriverDesc.jarUrl通过Netty从Driver机器远程拷贝过来
      • 根据DriverDesc.command模板构建本地执行的command命令,并启动该command对应的Process进程
      • 将Process的输出流输出到文件stdout/stderror,如果Process启动失败,进行1-5的秒的反复启动工作,直到启动成功,在释放Worker节点的DriverRunner的资源
     
    三、DriverRunner创建并运行DriverWrapper
         DriverWrapper的运行,流程如下:
         
    • DriverWapper创建了一个RpcEndpoint与RpcEnv
    • RpcEndpoint为WorkerWatcher,主要目的为监控Worker节点是否正常,如果出现异常就直接退出
    • 然后当前的ClassLoader加载userJar,同时执行userMainClass
    • 执行用户的main方法后关闭workerWatcher
     
         
  • 相关阅读:
    视频处理类
    JAVA向EXE文件尾追加配置信息,用于解决局版客户端的程序IP配置问题
    分布式系统解决方案
    理想智慧云
    在C#中调用格式工厂进行任意视频格式到FLV的转换
    思考一下提高转码的速度
    在OpenResty中使用淘宝的concat进行css和js合并,同时支持GZIP静态压缩
    robotframework常用的几个快捷键
    robotframe使用之滚动条
    robotframe使用之时间控件
  • 原文地址:https://www.cnblogs.com/hframe/p/6907290.html
Copyright © 2011-2022 走看看