zoukankan      html  css  js  c++  java
  • spark内核揭秘-11-Driver中AppClient源码分析

    首先从SparkContext中TaskScheduler实例的创建开始:


    进入taskScheduler.start()方法内部:


    进入其实现者TaskSchedulerImpl内部:



    可以发现在start具体实现的内部首先是有个backend.start方法:


    其最终具体的实现类为:





    从代码中可以看出,我们把CoarseGrainedExecutorBackend封装成command,然后交给appDesc,接着交给了Appclient,此时的AppClient就是客户端程序!

    AppClient会调用start方法:


    此时启动了ClientActor:




    关于AppClient的代码,在我之前的博客文章已经分析了,此处俺就不分析了

    下一篇要分析registerWithMaster() 和 tryRegisterAllMasters()方法

    版权声明:本文为博主原创文章,未经博主允许不得转载。

  • 相关阅读:
    java入门了解14
    java入门了解13
    java入门了解12
    java入门了解11
    Hive-安装
    Hive-基本概念
    Java笔记20
    Java-笔记19
    Java-笔记18-复习
    Java-笔记18
  • 原文地址:https://www.cnblogs.com/stark-summer/p/4829810.html
Copyright © 2011-2022 走看看