zoukankan      html  css  js  c++  java
  • Spark Streaming概念学习系列之SparkStreaming的高层抽象DStream

      不多说,直接上干货!

    SparkStreaming的高层抽象DStream

        

      为了便于理解,Spark Streaming提出了DStream抽象,代表连续不断的数据流。

      DStream 是一个持续的RDD 序列。

      可以从外部输入源创建DStream,也可以对其他DStream 应用进行转化操作得到新DStream。

     

     

     

    Dstream与RDD的关系

            

          

     

      DStream 是一个持续的RDD 序列。

      对Dstream的转换操作最终会映射到内部随时间不断生成的RDD上。

     

     

    Batch duration

        

      Spark Streaming按照设定的batch duration来累积数据,周期结束时把周期内的数据作为一个RDD,并提交任务给Spark Engine。

      batch duration的大小决定了Spark Streaming提交作业的频率和处理延迟。

      batch duration的大小设定取决于用户的需求,一般不会太大。

  • 相关阅读:
    java fastJson
    动态 商品属性
    添加营业时间
    ivew 表格中的input数据改变就会失去焦点
    小程序-setData
    小程序 css3走马灯效果
    iview 表单验证
    vue iview tree checked改变 不渲染的问题
    pl/sql中文乱码
    sql-plus无法连接解决
  • 原文地址:https://www.cnblogs.com/zlslch/p/6945053.html
Copyright © 2011-2022 走看看