zoukankan      html  css  js  c++  java
  • spark内核揭秘-05-SparkContext核心源码解析初体验

    SparkContext在获得了一系列的初始化信息后开始创建并启动TaskScheduler实例:


    进入createTaskScheduler方法:


    我们看一下其Standalone的方式:


    在上述代码中首先实例化一个TaskSchedulerImpl:


    然后构建出了masterUrls:



    接着创建出关键的backend:


    进入SparkDeploySchedulerBackend实现:



    从以上截图可以看出来,SparkDeploySchedulerBackend核心是为了启动CoarseGrainedExecutorBackend


    此处使用了Akka技术进行不同机器之间的通信,CoarseGrainedExecutorBackend是具体在Worker上执行具体的任务的进程的代表,所以我们的backend实例就是用来提交任务给Executor的:



    其实CoarseGrainedExecutorBackend是Executor的代理人,能够完成很多任务,例如启动一个任务:LaunchTask


    回到SparkContext的Standalone的方式的代码处:


    接着代码是把backend传给了TaskSchedulerImpl的initialize方法中:


    在上述代码中显示处理调度模式 例如FIFO和Fair的模式。

    在代码块的最后返回实例化后的backend, scheduler:


    PS:妈蛋的 公司破网,spark源码没下载成功,只能在github上面看了,蛋疼


    版权声明:本文为博主原创文章,未经博主允许不得转载。

  • 相关阅读:
    JVM 源码分析
    GGGGCCCC
    正则化(Regularization)、过拟合(Overfitting)
    名校课程
    数据库垂直拆分 水平拆分
    运维角度浅谈MySQL数据库优化
    表的垂直拆分和水平拆分
    Eclipse去掉对JS文件的Validation
    Linux定时任务工具crontab详解及系统时间同步
    高性能分布式哈希表FastDHT
  • 原文地址:https://www.cnblogs.com/stark-summer/p/4829817.html
Copyright © 2011-2022 走看看