Spark Streaming（一）：DStream

Spark Streaming：Spark提供的，对于大数据进行实时计算的一种框架；它的底层，也是基于Spark Core的；
其基本的计算模型，还是基于内存的大数据实时计算模型RDD，只不过，针对实时计算的特点，在RDD之上，进行了一层封装，叫做DStream（类似Spark SQL中的DataFrame）；所以RDD是整个Spark技术生态的核心。

Spark Streaming是Spark Core Api的一种扩展，它可以用于进行大规模、高吞吐量、容错的实时数据流的处理；支持从很多种数据源中读取数据，比如Kafka、Flume、Twitter、ZeroMQ、Kinesis或者TCP Socket，并且能够使用类似高阶函数的复杂算法来进行数据处理，比如map、reduce、join、window；处理后的数据可以被保存到文件系统、数据库、Dashboard等存储中。

 

image.png

2、Spark Streaming工作原理

Spark Streaming内部的基本工作原理：接收实时输入数据流，然后将数据拆分成多个batch，比如每收集1s的数据封装为一个batch， 然后将每个batch交给Spark的计算引擎进行处理，最后会生产出一个结果数据流，其中的数据，也是一个个的batch所组成的。其中，一个batchInterval累加读取到的数据对应一个RDD的数据

 

image.png

3、DStream

DStream：Discretized Stream，离散流，Spark Streaming提供的一种高级抽象，代表了一个持续不断的数据流；
DStream可以通过输入数据源来创建，比如Kafka、Flume，也可以通过对其他DStream应用高阶函数来创建，比如map、reduce、join、window；

• DStream的内部，其实是一系列持续不断产生的RDD，RDD是Spark Core的核心抽象，即，不可变的，分布式的数据集；
  DStream中的每个RDD都包含了一个时间段内的数据；
  以下图为例，0-1这段时间的数据累积构成了RDD@time1，1-2这段时间的数据累积构成了RDD@time2,。。。

 

image.png

• 对DStream应用的算子，其实在底层会被翻译为对DStream中每个RDD的操作；
  比如对一个DStream执行一个map操作，会产生一个新的DStream，其底层原理为，对输入DStream中的每个时间段的RDD，都应用一遍map操作，然后生成的RDD，即作为新的DStream中的那个时间段的一个RDD；
  底层的RDD的transformation操作，还是由Spark Core的计算引擎来实现的，Spark Streaming对Spark core进行了一层封装，隐藏了细节，然后对开发人员提供了方便易用的高层次API。

 

image.png

4、Spark Streaming VS Storm

 

image.png

• 优势
  从上图中可以看出，Spark Streaming绝对谈不上比Storm优秀，这两个框架在实时计算领域中，都很优秀，只是擅长的细分场景并不相同；

  Spark Streaming仅仅在吞吐量上比Storm要优秀，但问题是，是不是在所有的实时计算场景下，都那么注重吞吐量？
  不尽然。
  因此，通过吞吐量说Spark Streaming 强于Storm，不靠谱；

  事实上，Storm在实时延迟度上，比Spark Streaming就好多了，Storm是纯实时，Spark Streaming是准实时；而且Storm的事务机制，健壮性/容错性、动态调整并行度等特性，都要比Spark Streaming更加优秀。

  Spark Streaming的真正优势（Storm绝对比不上的），是它属于Spark生态技术栈中，因此Spark Streaming可以和Spark Core、Spark SQL无缝整合，而这也就意味着，我们可以对实时处理出来的中间数据，立即在程序中无缝进行延迟批处理、交互式查询等操作，这个特点大大增强了Spark Streaming的优势和功能。

• 应用场景

  • Storm：
    1、建议在那种需要纯实时，不能忍受1s以上延迟的场景下使用，比如金融系统，要求纯实时进行金融交易和分析；
    2、如果对于实时计算的功能中，要求可靠的事务机制和可靠性机制，即数据的处理完全精准，一条也不能多，一条也不能少，也可以考虑使用Strom；
    3、如果需要针对高峰低峰时间段，动态调整实时计算程序的并行度，以最大限度利用集群资源，也可以考虑用Storm；
    4、如果一个大数据应用系统，它就是纯粹的实时计算，不需要在中间执行SQL交互式查询、复杂的transformation算子等，那么使用Storm是比较好的选择

  • Spark Streaming：
    1、如果对上述适用于Storm的三点，一条都不满足的实时场景，即，不要求纯实时，不要求强大可靠的事务机制，不要求动态调整并行度，那么可以考虑使用Spark Streaming；
    2、考虑使用Spark Streaming最主要的一个因素，应该是针对整个项目进行宏观的考虑，即，如果一个项目除了实时计算之外，还包括了离线批处理、交互式查询等业务功能，而且实时计算中，可能还会牵扯到高延迟批处理、交互式查询等功能，那么就应该首选Spark生态，用Spark Core开发离线批处理，用Spark SQL开发交互式查询，用Spark Streaming开发实时计算，三者可以无缝整合，给系统提供非常高的可扩展性。

5、StreamingContext

1、创建方式
有两种创建StreamingContext的方式：

#方法一：
val conf = new SparkConf().setAppName(appName).setMaster(master);
val ssc = new StreamingContext(conf, Seconds(1));

#方法二：可以使用已有的SparkContext来创建
val sc = new SparkContext(conf)
val ssc = new StreamingContext(sc, Seconds(1));

注：appName，是用来在Spark UI上显示的应用名称；
master，是一个Spark、Mesos或者Yarn集群的URL，或者是local[*]；
batch interval可以根据你的应用程序的延迟要求以及可用的集群资源情况来设置。

2、一个StreamingContext定义之后，必须做以下几件事情：

• 1、通过创建输入DStream来创建输入数据源。
• 2、通过对DStream定义transformation和output算子操作，来定义实时计算逻辑。
• 3、调用StreamingContext的start()方法，来开始实时处理数据。
• 4、调用StreamingContext的awaitTermination()方法，来等待应用程序的终止。可以使用CTRL+C手动停止，或者就是让它持续不断的运行进行计算。
• 5、也可以通过调用StreamingContext的stop()方法，来停止应用程序。

需要注意的要点：
1、只要一个StreamingContext启动之后，就不能再往其中添加任何计算逻辑了。比如执行start()方法之后，还给某个DStream执行一个算子。
2、一个StreamingContext停止之后，是肯定不能够重启的，调用stop()之后，不能再调用start()
3、一个JVM同时只能有一个StreamingContext启动，在你的应用程序中，不能创建两个StreamingContext。
4、调用stop()方法时，会同时停止内部的SparkContext，如果不希望如此，还希望后面继续使用SparkContext创建其他类型的Context，比如SQLContext，那么就用stop(false)。
5、一个SparkContext可以创建多个StreamingContext，只要上一个先用stop(false)停止，再创建下一个即可。

6、DStream的transformation操作

 

image.png

 

image.png

7、wordCount demo

package cn.spark.study.streaming;

import java.util.Arrays;
import org.apache.spark.SparkConf;
import org.apache.spark.api.java.function.FlatMapFunction;
import org.apache.spark.api.java.function.Function2;
import org.apache.spark.api.java.function.PairFunction;
import org.apache.spark.streaming.Durations;
import org.apache.spark.streaming.api.java.JavaDStream;
import org.apache.spark.streaming.api.java.JavaPairDStream;
import org.apache.spark.streaming.api.java.JavaReceiverInputDStream;
import org.apache.spark.streaming.api.java.JavaStreamingContext;
import scala.Tuple2;

/**
 * 实时wordcount程序
 */
public class WordCount {
    
    public static void main(String[] args) throws Exception {
        // 创建SparkConf对象
        // 但是这里有一点不同，我们是要给它设置一个Master属性，
        //但是我们测试的时候使用local模式
        // local后面必须跟一个方括号，里面填写一个数字，数字代表了
        // 我们用几个线程来执行我们的Spark Streaming程序
        SparkConf conf = new SparkConf()
                .setMaster("local[2]")
                .setAppName("WordCount");  
        
        // 创建JavaStreamingContext对象
        // 该对象，就类似于Spark Core中的JavaSparkContext，Spark SQL中的SQLContext
        // 该对象除了接收SparkConf对象对象之外
        // 还必须接收一个batch interval参数，就是说，每收集多长时间的数据，
        // 划分为一个batch，进行处理，这里设置一秒
        JavaStreamingContext jssc = new JavaStreamingContext(conf, Durations.seconds(1));
    
        // 首先，创建输入DStream，代表了一个从数据源（比如kafka、socket）来的持续不断的实时数据流
        // 调用JavaStreamingContext的socketTextStream()方法，可以创建一个数据源为Socket网络端口的
        // 数据流，JavaReceiverInputStream，代表了一个输入的DStream
        // socketTextStream()方法接收两个基本参数，第一个是监听哪个主机上的端口，第二个是监听哪个端口
        JavaReceiverInputDStream<String> lines = jssc.socketTextStream("localhost", 9999);
        
        // 到这里为止，你可以理解为JavaReceiverInputDStream中的，每隔一秒，会有一个RDD，其中封装了
        // 这一秒发送过来的数据
        // RDD的元素类型为String，即一行一行的文本
        // 所以，这里JavaReceiverInputStream的泛型类型<String>，其实就代表了它底层的RDD的泛型类型
        
        // 开始对接收到的数据，执行计算，使用Spark Core提供的算子，执行应用在DStream中即可
        // 在底层，实际上是会对DStream中的一个一个的RDD，执行我们应用在DStream上的算子
        // 产生的新RDD，会作为新DStream中的RDD
        JavaDStream<String> words = lines.flatMap(new FlatMapFunction<String, String>() {

            private static final long serialVersionUID = 1L;

            @Override
            public Iterable<String> call(String line) throws Exception {
                return Arrays.asList(line.split(" "));  
            }
            
        });
        
        // 这个时候，每秒的数据，一行一行的文本，就会被拆分为多个单词，words DStream中的RDD的元素类型
        // 即为一个一个的单词
        
        // 接着，开始进行flatMap、reduceByKey操作
        JavaPairDStream<String, Integer> pairs = words.mapToPair(
                
                new PairFunction<String, String, Integer>() {

                    private static final long serialVersionUID = 1L;

                    @Override
                    public Tuple2<String, Integer> call(String word)
                            throws Exception {
                        return new Tuple2<String, Integer>(word, 1);
                    }
                    
                });
        
        // 在这里可以看出，用Spark Streaming开发程序，和Spark Core很相像
        // 唯一不同的是Spark Core中的JavaRDD、JavaPairRDD，都变成了JavaDStream、JavaPairDStream
        
        JavaPairDStream<String, Integer> wordCounts = pairs.reduceByKey(
                
                new Function2<Integer, Integer, Integer>() {
            
                    private static final long serialVersionUID = 1L;

                    @Override
                    public Integer call(Integer v1, Integer v2) throws Exception {
                        return v1 + v2;
                    }
                    
                });
        
        // 到此为止，我们就实现了实时的wordcount程序了
        // 总结一下
        // 每秒中发送到指定socket端口上的数据，都会被lines DStream接收到
        // 然后lines DStream会把每秒的数据，也就是一行一行的文本，诸如hell world，封装为一个RDD
        // 然后呢，就会对每秒中对应的RDD，执行后续的一系列的算子操作
        // 比如，对lins RDD执行了flatMap之后，得到一个words RDD，作为words DStream中的一个RDD
        // 以此类推，直到生成最后一个，wordCounts RDD，作为wordCounts DStream中的一个RDD
        // 此时，就得到了，每秒钟发送过来的数据的单词统计
        // 但是，一定要注意，Spark Streaming的计算模型，就决定了，我们必须自己来进行中间缓存的控制
        // 比如写入redis等缓存
        // 它的计算模型跟Storm是完全不同的，storm是自己编写的一个一个的程序，运行在节点上，
        // 相当于一个一个的对象，可以自己在对象中控制缓存
        // 但是Spark本身是函数式编程的计算模型，所以，比如在words或pairs DStream中，
        // 没法在实例变量中进行缓存
        // 此时就只能将最后计算出的wordCounts中的一个一个的RDD，写入外部的缓存，或者持久化DB
        
        // 最后，每次计算完，都打印一下这一秒钟的单词计数情况
        // 并休眠5秒钟，以便于我们测试和观察
        
        Thread.sleep(5000);  
        wordCounts.print();
            
        // 首先对JavaSteamingContext进行一下后续处理
        // 必须调用JavaStreamingContext的start()方法，整个Spark Streaming Application才会启动执行
        // 否则是不会执行的
        jssc.start();
        jssc.awaitTermination();
        jssc.close();
    }
}

Scala版本：

package cn.spark.study.streaming

import org.apache.spark.SparkConf
import org.apache.spark.streaming.Seconds
import org.apache.spark.streaming.StreamingContext

object WordCount {
  
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf()
        .setMaster("local[2]")
        .setAppName("WordCount")
        
    val ssc = new StreamingContext(conf, Seconds(1))
    
    val lines = ssc.socketTextStream("localhost", 9999)
    val words = lines.flatMap { _.split(" ") }   
    val pairs = words.map { word => (word, 1) }  
    val wordCounts = pairs.reduceByKey(_ + _)  
    
    Thread.sleep(5000)  
    wordCounts.print()  
    
    ssc.start()
    ssc.awaitTermination()
  }
}

https://www.jianshu.com/u/ea8a81e1d960