zoukankan      html  css  js  c++  java
  • 五月Spark

    Resilient Distributed Datasets

    RDD弹性

    1)自动进行内存和磁盘数据存储的切换

    2)基于血统的高容错机制

    3)Task、Stage 如果失败会自动进行特定次数的重试【默认次数是4次】

    5)Checkpoint 和 Persist(持久化) 可主动或被动触发

    RDD可以通过Persist持久化将RDD缓存到内存或者磁盘,当再次用到该RDD时直接读取就行。也可以将RDD进行检查点,检查点会将数据存储在HDFS中,该RDD的所有父RDD依赖都会被移除。

    6)数据调度弹性

    7)数据分片的高度弹性

    可以根据业务的特征,动态调整数据分片的个数,提升整体的应用执行效率。

  • 相关阅读:
    阅读笔记03
    第十三周总结
    阅读笔记02
    第十二周总结
    第十一周总结
    阅读笔记01
    阅读笔记3
    第十一周总结
    阅读笔记
    HDFS-学习总结
  • 原文地址:https://www.cnblogs.com/Vowzhou/p/10855287.html
Copyright © 2011-2022 走看看