zoukankan      html  css  js  c++  java
  • RDD五大特性

    1)A list of partitions
    RDD由很多partition构成(block块对应partition),在spark中,计算式,有多少partition就对应有多少个task来执行。
    默认一个块block对应一个split,split的大小和block大小一致。
    2)A function for computing each split
    对RDD做计算,相当于对RDD的每个split或partition做计算
    3)A list of dependencies on other RDDs
    RDD之间有依赖关系,可溯源,容错机制
    4)Optionally, a Partitioner for key-value RDDs (e.g. to say that the RDD is hash-partitioned)
    如果RDD里面存的数据是key-value形式,则可以传递一个自定义的Partitioner进行重新分区,比如可以按key的hash值分区。
    5)Optionally, a list of preferred locations to compute each split on (e.g. block locations for an HDFS file)
    最优的位置去计算,也就是数据的本地性,移动计算而不是移动数据。
    计算每个split时,在split所在机器的本地上运行task是最好的,避免了数据的移动;split有多个副本,所以preferred location不止一个。数据在哪里,应优先把作业调度到数据所在机器上,减少数据的IO和网络传输,这样才能更好地减少作业运行时间(木桶原理:作业运行时间取决于运行最慢的task所需的时间),提高性能。

  • 相关阅读:
    好用的视频播放器
    如何屏蔽weGame今日推荐窗口
    存一个大佬的地图编辑器
    过渡页面,加载进度
    Lua中正弦,余弦函数的使用
    如何替换loadingBar的底图
    使用精灵帧缓存替换纹理
    setTexture和loadTexture之间的区别
    我胡汉三又回来了
    python中单斜杆和双斜杠的区别
  • 原文地址:https://www.cnblogs.com/lucas-zhao/p/12096602.html
Copyright © 2011-2022 走看看