http://jerryshao.me/architecture/2013/10/08/spark-storage-module-analysis/
大神写的太好了,我就不重复造轮子了。
Spark 1.5 与 Spark 0.7 在 Storage 模块的结构几乎一致,改变的地方在于:
1. RpcEndpoint 取代了 akka.Actor;
2. DiskStore 部分增加了 DiskBlockManager 功能,原先的 DiskStore 中一个 block 对应一个文件,现在可以多个 block 分别对应一个文件中的不同部分;
3. 除了 MemonryStore 和 DiskStore,还增加了 ExternalBlockStore,这是使用 Java 中的 OffHeap 方式自己管理内存实现的。