zoukankan      html  css  js  c++  java
  • SparkStreamingStateful

    /*
      * @Title: SparkStreamingStatefulDemo
      * @ProjectName spark-scala
      * @Description: TODO
      * @author Mr.lu
      * @date 2018/11/19:10:25
      */
    /**
      * 实时处理数据   有状态计算 需要还原点
      */
    
    import org.apache.spark._
    import org.apache.spark.streaming._ // not necessary since Spark 1.3
    object SparkStreamingStatefulDemo {
    
      def functionToCreateContext(): StreamingContext = {
        //streaming至少两个线程
        val conf = new SparkConf().setMaster("local[*]").setAppName("streaming")
        //时间用于分割数据:Seconds(5)---5秒
        val ssc = new StreamingContext(conf, Seconds(5))
        //模拟从tcp端口读取数据
        //设置还原点目录
        ssc.checkpoint("D:\test\checkpoint")
        val ds = ssc.socketTextStream("localhost", 999)
    
        //current:rdd的1放在里面   Option:可以没数据(第一次的时候没有数据)
        def update(current: Seq[Int], old: Option[Int]) = {
          val newValue = current.sum
          //第一次key出现时,没有状态,需要初始化
          val oldValue = old.getOrElse(0)
    
          //Some:Option下面的子类---hash--->map
          Some(newValue + oldValue)
        }
    
        ds.map(word => (word, 1))
          //update _:将方法转成函数 方法名 _
          .updateStateByKey(update _)
          .print()
        ssc
      }
    
      def main(args: Array[String]): Unit = {
        //    //streaming至少两个线程
        //    val conf=new SparkConf().setMaster("local[*]").setAppName("streaming")
        //    //时间用于分割数据:Seconds(5)---5秒
        //    val ssc=new StreamingContext(conf,Seconds(5))
        val ssc = StreamingContext.getOrCreate("D:\test\checkpoint", functionToCreateContext _)
    
    
    
        //启动streaming context,防止没有数据关闭
        //如果没有接受导数据,也不会立刻关闭,会尝试一段时间强制关闭
        ssc.start()
        ssc.awaitTermination()
      }
    }
    
  • 相关阅读:
    Elasticsearch7.6 环境部署
    JavaScript的语法
    如何在页面中引入JS教程
    什么是.bat文件
    window对象的一些其他通用函数
    history对象
    location对象
    32位与64位系统基本数据类型的字节数
    cygwin中运行python不能进入交互模式
    在Cygwin上安装编辑器vim
  • 原文地址:https://www.cnblogs.com/pigdata/p/10305569.html
Copyright © 2011-2022 走看看