检查点机制
Metadata checkpointing —— 将定义流计算的信息存入容错的系统如HDFS。
Data checkpointing —— 将产生的RDDs存入可靠的存储空间。代码实现如下图
val sparkContext = new SparkContext(new SparkConf())
val ssc = new StreamingText(sparkContext,duration)
ssc.checkpoint(checkpointDir) //设置检查点目录
驱动器程序容错
就是创建StreamingContext是不要直接new，而是用下面这种方法
val sparkContext = new SparkContext(new SparkConf())
val ssc = StreamingContext.getOrCreate(checkpointDir, createStreamingContext _)
工作节点容错
将从外部数据员接收到的数据在多个工作节点备份，根据RDD的Lineage回复丢失的数据
接收器容错
就是选择靠谱的数据源。一般都是根据具体的事务情况来选择对应的数据源。比如HDFS、拉式Flume。
处理保证
就是尽量选择exactly once模式。
我们可以使用事务操作来写入外部系统(即原子化地将一个 RDD 分区一次写入)，或者设计幂等的更新操作(即多次运行同一个更新操作 仍生成相同的结果)。比如 Spark Streaming 的 saveAs…File 操作会在一个文件写完时自动 将其原子化地移动到最终位置上，以此确保每个输出文件只存在一份。