zoukankan      html  css  js  c++  java
  • StorageLevel

    val NONE = new StorageLevel(false, false, false, false)
      val DISK_ONLY = new StorageLevel(true, false, false, false)
      val DISK_ONLY_2 = new StorageLevel(true, false, false, false, 2)
      val MEMORY_ONLY = new StorageLevel(false, true, false, true)
      val MEMORY_ONLY_2 = new StorageLevel(false, true, false, true, 2)
      val MEMORY_ONLY_SER = new StorageLevel(false, true, false, false)
      val MEMORY_ONLY_SER_2 = new StorageLevel(false, true, false, false, 2)
      val MEMORY_AND_DISK = new StorageLevel(true, true, false, true)
      val MEMORY_AND_DISK_2 = new StorageLevel(true, true, false, true, 2)
      val MEMORY_AND_DISK_SER = new StorageLevel(true, true, false, false)
      val MEMORY_AND_DISK_SER_2 = new StorageLevel(true, true, false, false, 2)
      val OFF_HEAP = new StorageLevel(true, true, true, false, 1)

    加粗“_2”表示持久化存储份数为两份

    StorageLevel有五个属性分别是:

        private var _useDisk: Boolean, //useDisk_是否使用磁盘
        private var _useMemory: Boolean, //useMemory_是否使用内存
        private var _useOffHeap: Boolean, //useOffHeap_是否使用堆外内存如:Tachyon,
        private var _deserialized: Boolean,//deserialized_是否进行反序列化
        private var _replication: Int = 1) //replication_备份数目。

    可以通过序列化减少内存占用量,但会降低效率

  • 相关阅读:
    逆序对的相关问题:bzoj1831,bzoj2431
    bzoj3211,bzoj3038
    hdu 1179最大匹配
    hdu 3038带权并查集
    poj 1733离散化(map)+并查集
    codeforces 369B
    poj 1456
    POJ 1988相对偏移
    poj 1986tarjan模板题
    poj 1330lca模板题离线算法
  • 原文地址:https://www.cnblogs.com/playforever/p/9395806.html
Copyright © 2011-2022 走看看