zoukankan      html  css  js  c++  java
  • spark内核揭秘-05-SparkContext核心源码解析初体验

    SparkContext在获得了一系列的初始化信息后开始创建并启动TaskScheduler实例:


    进入createTaskScheduler方法:


    我们看一下其Standalone的方式:


    在上述代码中首先实例化一个TaskSchedulerImpl:


    然后构建出了masterUrls:



    接着创建出关键的backend:


    进入SparkDeploySchedulerBackend实现:



    从以上截图可以看出来,SparkDeploySchedulerBackend核心是为了启动CoarseGrainedExecutorBackend


    此处使用了Akka技术进行不同机器之间的通信,CoarseGrainedExecutorBackend是具体在Worker上执行具体的任务的进程的代表,所以我们的backend实例就是用来提交任务给Executor的:



    其实CoarseGrainedExecutorBackend是Executor的代理人,能够完成很多任务,例如启动一个任务:LaunchTask


    回到SparkContext的Standalone的方式的代码处:


    接着代码是把backend传给了TaskSchedulerImpl的initialize方法中:


    在上述代码中显示处理调度模式 例如FIFO和Fair的模式。

    在代码块的最后返回实例化后的backend, scheduler:


    PS:妈蛋的 公司破网,spark源码没下载成功,只能在github上面看了,蛋疼


    版权声明:本文为博主原创文章,未经博主允许不得转载。

  • 相关阅读:
    过滤器排序规则
    n维立体空间建模
    将多个Sheet导入到同一个Excel文件中
    Oracle分页查询
    SSH整合逻辑图
    MD5算法原理
    Spring框架整合Struts2
    Pandas入门——Series基本操作
    Python 使用selenium+webdriver爬取动态网页内容
    Python处理json和dict
  • 原文地址:https://www.cnblogs.com/stark-summer/p/4829817.html
Copyright © 2011-2022 走看看