zoukankan      html  css  js  c++  java
  • Spark Streaming源码分析 – JobScheduler

    先给出一个job从被generate到被执行的整个过程
    在JobGenerator中,需要定时的发起GenerateJobs事件,而每个job其实就是针对DStream中的一个RDD,发起一个SparkContext.runJob,通过对DStream中每个RDD都runJob来模拟流处理

    再看个outputStream的具体实现

    saveAsTextFiles

    最后,再强调一下RDD中执行中如果从InputDStream取到数据的,就全打通了
    就再看看NetworkInputDStream.compute是如何最终获取数据的

    JobScheduler
    SparkStreaming的主控线程,用于初始化和启动,JobGenerator和NetworkInputTracker
    分别用于,产生并定时提交job,和从InputDStream不断读取数据


    JobGenerator

     

    DStreamGraph
    用于track job中的inputStreams和outputStreams,并做为DStream workflow对外的接口
    最关键的接口是generateJobs

  • 相关阅读:
    【转】数学题目大集合
    hdu3534,个人认为很经典的树形dp
    GYM
    HDU
    POJ
    POJ
    POJ
    set的经典应用
    天梯赛训练1 7-9 集合相似度
    天梯赛训练1 7-8 查验身份证
  • 原文地址:https://www.cnblogs.com/fxjwind/p/3592177.html
Copyright © 2011-2022 走看看