zoukankan      html  css  js  c++  java
  • spark内核揭秘-05-SparkContext核心源码解析初体验

    SparkContext在获得了一系列的初始化信息后开始创建并启动TaskScheduler实例:


    进入createTaskScheduler方法:


    我们看一下其Standalone的方式:


    在上述代码中首先实例化一个TaskSchedulerImpl:


    然后构建出了masterUrls:



    接着创建出关键的backend:


    进入SparkDeploySchedulerBackend实现:



    从以上截图可以看出来,SparkDeploySchedulerBackend核心是为了启动CoarseGrainedExecutorBackend


    此处使用了Akka技术进行不同机器之间的通信,CoarseGrainedExecutorBackend是具体在Worker上执行具体的任务的进程的代表,所以我们的backend实例就是用来提交任务给Executor的:



    其实CoarseGrainedExecutorBackend是Executor的代理人,能够完成很多任务,例如启动一个任务:LaunchTask


    回到SparkContext的Standalone的方式的代码处:


    接着代码是把backend传给了TaskSchedulerImpl的initialize方法中:


    在上述代码中显示处理调度模式 例如FIFO和Fair的模式。

    在代码块的最后返回实例化后的backend, scheduler:


    PS:妈蛋的 公司破网,spark源码没下载成功,只能在github上面看了,蛋疼


    版权声明:本文为博主原创文章,未经博主允许不得转载。

  • 相关阅读:
    java 13-6 Char的包装类Character
    java13-5 JDK1.5以后的一个新特性和Integer的面试题
    java 13-4 Integer和String、int之间的转换,进制转换
    java 13-3 int类型的包装包Integer
    java 13-2 Arrays工具类
    java 13-1 数组高级二分查找
    java12
    kafka语句示例
    zookeeper安装
    redhat java配置
  • 原文地址:https://www.cnblogs.com/stark-summer/p/4829817.html
Copyright © 2011-2022 走看看