zoukankan      html  css  js  c++  java
  • RDD的依赖关系

    RDD的依赖关系

    子RDD和它依赖的父RDD(s)的关系有两种不同的类型,窄依赖(narrow dependency)和宽依赖(wide dependency)。

    窄依赖

    指的是每一个父RDD的Partition最多被子RDD的一个Partition使用

    宽依赖

    指的是多个子RDD的Partition会依赖同一个父RDD的Partition,一般就是通过宽依赖划分Stage

    Lineage

    RDD只支持粗粒度转换,即在大量记录上执行的单个操作。将创建RDD的一系列Lineage(即血统)记录下来,以便恢复丢失的分区。RDD的Lineage会记录RDD的元数据信息和转换行为,当该RDD的部分分区数据丢失时,它可以根据这些信息来重新运算和恢复丢失的数据分区。

  • 相关阅读:
    最近工作
    有点感受
    日子有点快
    IDEA配置spring
    IDEA配置hibernate
    mysql插入中文乱码
    深夜配置一把struts2
    IDEA 配置SSH2
    找工作的事情
    YTU 2509: 奇怪的分式
  • 原文地址:https://www.cnblogs.com/heml/p/6769990.html
Copyright © 2011-2022 走看看