zoukankan      html  css  js  c++  java
  • rdd 宽依赖和窄依赖

    Spark中RDD的高效与DAG图有着莫大的关系,
      在DAG调度中需要对计算过程划分Stage,
      而划分的依据就是就是RDD之间的依赖关系。
      针对不同的转换函数,RDD之间的依赖关系分为窄依赖(narrow dependency)
      和宽依赖(Wide Depencency,也称为Shuffle Depencency)。
    窄依赖: 
    指父RDD的每个分区只被子RDD的一个分区所使用,子RDD分区通常对应常数个父RDD分区(O(1),与数据规模无关)

    宽依赖: 
    是指父RDD的每个分区都可能被多个子RDD分区所使用,子RDD分区通常对应所有的父RDD分区(O(n),与数据规模有关) 

    相比于依赖,窄依赖对优化很有利,主要基于以下两点:

      1、依赖往往对应着Shuffle操作,需要在运行过程中将同一个父RDD的分区传入到不同的子RDD分区中,

    中间可能涉及多个节点之间的数据传输;而窄依赖的每个父RDD的分区只会传入到一个子RDD分区中,通常可以在一个节点内完成转换

      2、当RDD分区丢失时(某个节点故障),Spark会对数据进行重算

      3、对于窄依赖,由于父RDD的一个分区只对应一个子RDD分区,这样只需要重算和子RDD分区对应的父RDD分区即可,所以这个重算对数据的利用率是100%的

      4、对于依赖,重算的父RDD分区对应多个子RDD分区的,这样实际上父RDD中只有一部分的数据是被用于恢复这个丢失的子RDD分区的,另一部分对应子RDD的其他未丢失分区,这就造成了多余的计算;更一般的,宽依赖中子RDD分区通常来自多个父RDD分区,极端情况下,所有的父RDD分区都要进行重新计算。

    原文:https://blog.csdn.net/daerzei/article/details/81512412 

  • 相关阅读:
    docker 介绍,安装,镜像操作, docker换源
    go语言5 接口, 并发与并行, go协程, 信道, 缓冲信道, 异常处理, python进程线程
    [编织消息框架]目录
    2017总结
    赚钱方法[信息红利]
    面单 全单 单板 批发吉他民谣 知乎 百度知道 百度贴吧 吉他批发
    看第三部杀破狼感想
    海豚极货店 淘宝店开张啦
    我上头条了
    尤克里里 ukulele 单板 非kaka tom uma
  • 原文地址:https://www.cnblogs.com/liuwd/p/10856475.html
Copyright © 2011-2022 走看看