RDD缓存策略

Spark支持将数据集放置在集群的缓存中，以便于数据重用。

 

Spark缓存策略对应的类：

class StorageLevel private(
　　private var useDisk_ : Boolean,
　　private var useMemory_ : Boolean,
　　private var useOffHeap_ : Boolean,
　　private var deserialized_ : Boolean,
　　private var replication_ : Int = 1)
}

object StorageLevel {
　　val NONE = new StorageLevel(false, false, false, false)
　　val DISK_ONLY = new StorageLevel(true, false, false, false)
　　val DISK_ONLY_2 = new StorageLevel(true, false, false, false, 2)
　　val MEMORY_ONLY = new StorageLevel(false, true, false, true)
　　val MEMORY_ONLY_2 = new StorageLevel(false, true, false, true, 2)
　　val MEMORY_ONLY_SER = new StorageLevel(false, true, false, false)
　　val MEMORY_ONLY_SER_2 = new StorageLevel(false, true, false, false, 2)
　　val MEMORY_AND_DISK = new StorageLevel(true, true, false, true)
　　val MEMORY_AND_DISK_2 = new StorageLevel(true, true, false, true, 2)
　　val MEMORY_AND_DISK_SER = new StorageLevel(true, true, false, false)
　　val MEMORY_AND_DISK_SER_2 = new StorageLevel(true, true, false, false, 2)
　　val OFF_HEAP = new StorageLevel(false, false, true, false)
}

 

 

 

 

 

 

 

 

 

 

 

 

 

 

StorageLevel关键属性

useDisk_	是否使用磁盘
useMemory_	是否使用内存
deserialized_	是否进行反序列化（即原生方式，不序列化）
replication_	备份数目

 

 

 

 

 

序列化后的对象存放在内存中，占用的内存少，但是用时需要反序列化，会消耗CPU；

个人推荐：如果内存使用紧张但是CPU够用时建议考虑使用序列化后缓存；或者是选择性能更好的序列化工具。

 

 可选用的存储级别有如下：

存储级别	描述
MEMORY_ONLY	将RDD 作为反序列化的的对象存储JVM 中。如果RDD不能被内存装下，一些分区将不会被缓存，并且在需要的时候被重新计算。 这是是默认的级别
MEMORY_AND_DISK	将RDD 作为反序列化的的对象存储在JVM 中。如果RDD不能被与内存装下，超出的分区将被保存在硬盘上，并且在需要时被读取
MEMORY_ONLY_SER	将RDD 作为序列化的的对象进行存储（每一分区占用一个字节数组）。 通常来说，这比将对象反序列化的空间利用率更高，尤其当使用fast serializer,但在读取时会比较占用CPU
MEMORY_AND_DISK_SER	与MEMORY_ONLY_SER 相似，但是把超出内存的分区将存储在硬盘上而不是在每次需要的时候重新计算
DISK_ONLY	只将RDD 分区存储在硬盘上
DISK_ONLY_2等带2的	与上述的存储级别一样，但是将每一个分区都复制到两个集群结点上

 

 

 

 

 

 

 

 

 

 

存储级别选择原则：

spark的不同存储级别，旨在满足内存使用和CPU效率权衡上的不同需求。建议通过以下步骤来进行选择：

1）如果RDDs可以很好的与默认的存储级别MEMORY_ONLY契合，就不需要做任何调整，这已经是CPU使用效率最高的选项，它使得RDDs的操作尽可能的快；

2）如果不行，试着使用MEMORY_ONLY_SER，并且选择一个快速序列号的库使得对象在比较高的空间使用率下，依然可以较快的被访问；

3）尽可能的不要存储在硬盘中，除非计算数据集的函数计算量特别大，或者它们过滤了大量的数据，否则重新计算一个分区的速度和从与硬盘中读取基本差不多快；

 

注意：

1）spark默认存储策略为MEMORY_ONLY：只缓存到内存并且以原生方式存（反序列化）一个副本；

2）MEMORY_AND_DISK存储级别在内存够用时直接保存到内存中，只有当内存不足时，才会存储到磁盘中。

 

 

详细信息参见官方文档：http://spark.apache.org/docs/latest/programming-guide.html