Resilient Distributed Datasets
RDD弹性
1)自动进行内存和磁盘数据存储的切换
2)基于血统的高容错机制
3)Task、Stage 如果失败会自动进行特定次数的重试【默认次数是4次】
5)Checkpoint 和 Persist(持久化) 可主动或被动触发
RDD可以通过Persist持久化将RDD缓存到内存或者磁盘,当再次用到该RDD时直接读取就行。也可以将RDD进行检查点,检查点会将数据存储在HDFS中,该RDD的所有父RDD依赖都会被移除。
6)数据调度弹性
7)数据分片的高度弹性
可以根据业务的特征,动态调整数据分片的个数,提升整体的应用执行效率。