zoukankan      html  css  js  c++  java
  • Spark Streaming源码分析 – JobScheduler

    先给出一个job从被generate到被执行的整个过程
    在JobGenerator中,需要定时的发起GenerateJobs事件,而每个job其实就是针对DStream中的一个RDD,发起一个SparkContext.runJob,通过对DStream中每个RDD都runJob来模拟流处理

    再看个outputStream的具体实现

    saveAsTextFiles

    最后,再强调一下RDD中执行中如果从InputDStream取到数据的,就全打通了
    就再看看NetworkInputDStream.compute是如何最终获取数据的

    JobScheduler
    SparkStreaming的主控线程,用于初始化和启动,JobGenerator和NetworkInputTracker
    分别用于,产生并定时提交job,和从InputDStream不断读取数据


    JobGenerator

     

    DStreamGraph
    用于track job中的inputStreams和outputStreams,并做为DStream workflow对外的接口
    最关键的接口是generateJobs

  • 相关阅读:
    开发培训体会——写好代码的一些编码规则和设计原则
    开发培训体会——写好代码的一些基本原理
    传说中的奖励通报
    NetBeans 6.7 Milestone 2 Now Available for Download!
    Software Process Engine of BeyondTrack
    开发培训体会——代码的价值
    NetBeans 6.7 Milestone 2 Now Available for Download!
    传说中的奖励通报
    有关_sprintf函数重定义错误的思考
    Software Process Engine of BeyondTrack
  • 原文地址:https://www.cnblogs.com/fxjwind/p/3592177.html
Copyright © 2011-2022 走看看