zoukankan      html  css  js  c++  java
  • Spark2 Dataset持久化存储级别StorageLevel

    import org.apache.spark.storage.StorageLevel

    // 数据持久缓存到内存中
    //data.cache()
    data.persist()

    // 设置缓存级别
    data.persist(StorageLevel.DISK_ONLY)
       
    // 清除缓存
    data.unpersist
    //data.unpersist(blocking=true)

    级别 使用空间 CPU时间 是否在内存中 是否在磁盘上 备注
    MEMORY_ONLY  
    MEMORY_ONLY_2 数据存2份
    MEMORY_ONLY_SER 数据序列化
    MEMORY_ONLY_SER_2 数据序列化,数据存2份
    MEMORY_AND_DISK 中等 部分 部分 如果数据在内存中放不下,则溢写到磁盘
    MEMORY_AND_DISK_2 中等 部分 部分 数据存2份
    MEMORY_AND_DISK_SER 部分 部分  
    MEMORY_AND_DISK_SER_2 部分 部分 数据存2份
    DISK_ONLY  
    DISK_ONLY_2 数据存2份
    NONE          
    OFF_HEAP           
  • 相关阅读:
    移动传感器扫描覆盖
    最小生成树
    什么是壳 脱壳篇01
    最小生成树
    最小生成树
    最小生成树
    最小生成树
    最小生成树
    普里姆算法
    普里姆算法
  • 原文地址:https://www.cnblogs.com/wwxbi/p/6101842.html
Copyright © 2011-2022 走看看