zoukankan      html  css  js  c++  java
  • 【Spark】源码分析之RDD的生成及stage的切分

    一、概述

    Spark源码整体的逻辑(spark1.3.1):

    从saveAsTextFile()方法入手

    -->saveAsTextFile() 

    --> saveAsHadoopFile() 

    --> 封装hadoopConf,并传入saveAsHadoopDataset()方法

    --> 拿到写出流SaprkHadoopWriter,调用self.context.runJob(self,writeToFile) 

    --> runJob方法中,使用dagScheduler划分stage 

    --> submitJob开始提交作业

    -->任务处理器的post方法启动线程,获取队列中的任务,并调用onRecevie()方法提交任务

    -->调用handleJobSubmitted,使用newStage中的getParentStage方法对stage进行切分 

    -->getParentStage方法中,使用HashSet、Stack来存放stage和RDD,用栈来存储RDD主要是为了便于后面通过循环进行模式匹配,判断该RDD和父RDD的依赖关系,如果是宽依赖就会生成stage,如果是窄依赖,就会继续找父RDD

    二、Spark源码详情

    1. 在spark1.3.1的源码中,saveAsTextFile的关键代码在于它内部调用了saveAsHadoopFile()方法。


    2. 进入到saveAsHadoopFile()方法中,首先spark会对配置信息进行封装,然后将配置信息传入saveAsHadoopDataset( )方法


    3. saveAsHadoopDataset()方法中将会拿到Spark的写出流,并调用runJob方法准备开始提交作业。



    4. 进入runJob方法中,会使用dagScheduler进行stage的切分


    5. submitJob开始提交作业


    6. 获取finalRDD的分区数,并调用任务处理器的post方法,循环取出数据放入队列中


    7.  post方法中,将启动一个线程,将获取队列中的任务,并调用onRecevie()方法提交任务


    8. 进入onReceive(),可以看到它是一个抽象类中的方法


    9. 方法的实现在DAGScheduler中,对方法进行模式匹配。 匹配到任务提交的方法后,调用handleJobSumitted提交任务


    10. handleJobSubmitted中,使用newStage中的getParentStage方法对stage进行切分


    11. getParentStage方法中,使用HashSet、Stack来存放stage和RDD,用栈来存储RDD主要是为了便于后面通过循环进行模式匹配,判断该RDD和父RDD的依赖关系,如果是宽依赖就会生成stage,如果是窄依赖,就会继续找父RDD


  • 相关阅读:
    linux
    python(4)
    python(4)
    python(4)–yield实现异步
    python(4)-迭代器 和 生成器
    JavaScript函数参数问题
    文字垂直居中
    Window-document-javascript
    Java的StringTokenizer类
    Web应用与Spring MVC锁session
  • 原文地址:https://www.cnblogs.com/snova/p/9195694.html
Copyright © 2011-2022 走看看