zoukankan      html  css  js  c++  java
  • CacheManager 概述

    1. CacheManager 管理缓存,而缓存可以是基于内存的缓存,也可以是基于磁盘的缓存

    2. CacheManager 需要通过 BlockMananger 来操作数据;

    3. 当 Task 运行的时候会调用 RDD 的 compute 方法来进行计算,而 compute 方法会调用  iterator 方法。

    4. 具体 CacheManager 在获得缓存数据的时候会通过 BlockManage 来抓到数据

    5. 如果 CacheManager 没有通过 BlockMananger 获得缓存内容的话,会查看 RDD 是否进行了 checkpoint 就会计算,是的话就读取 checkpoint  的内容, 否则就进行计算

  • 相关阅读:
    python高级语法
    python的内置类型
    Python现状
    前端项目技术栈
    1.22
    类型转换!
    文件上传下载!
    Struts2的Ognl详解
    第二章复习
    解耦和耦合
  • 原文地址:https://www.cnblogs.com/langfanyun/p/8270436.html
Copyright © 2011-2022 走看看