zoukankan      html  css  js  c++  java
  • Spark Streaming源码分析 – JobScheduler

    先给出一个job从被generate到被执行的整个过程
    在JobGenerator中,需要定时的发起GenerateJobs事件,而每个job其实就是针对DStream中的一个RDD,发起一个SparkContext.runJob,通过对DStream中每个RDD都runJob来模拟流处理

    再看个outputStream的具体实现

    saveAsTextFiles

    最后,再强调一下RDD中执行中如果从InputDStream取到数据的,就全打通了
    就再看看NetworkInputDStream.compute是如何最终获取数据的

    JobScheduler
    SparkStreaming的主控线程,用于初始化和启动,JobGenerator和NetworkInputTracker
    分别用于,产生并定时提交job,和从InputDStream不断读取数据


    JobGenerator

     

    DStreamGraph
    用于track job中的inputStreams和outputStreams,并做为DStream workflow对外的接口
    最关键的接口是generateJobs

  • 相关阅读:
    Flex之五筒布局:想去哪儿就去哪儿 上手就会
    CSS画出三角形与圆形小技巧
    HTML table表格标签
    HTML 常用列表标签
    vue-learning:4-template-v-if-and-v-show
    vue-learning:3-template-{{}}-and-v-html
    vue-learning:2
    vue-learning:0
    vue-learning:1
    【转】像素 Pixel (Picture Element)
  • 原文地址:https://www.cnblogs.com/fxjwind/p/3592177.html
Copyright © 2011-2022 走看看