zoukankan      html  css  js  c++  java
  • 并发-ConcurrentHashMap 1.7和1.8的区别

    参考:

    https://blog.csdn.net/hao_yunfeng/article/details/82535009

    https://blog.csdn.net/u013374645/article/details/88700927

    ConcurrentHashMap1.7和1.8的底层不同实现

    https://my.oschina.net/zupengliu/blog/1930025

    1.Hashmap和HashTable在线程安全方面的优劣?

    Hashmap多线程会导致HashMap的Entry链表形成环形数据结构,一旦形成环形数据结构,Entry的next节点永远不为空,就会产生死循环获取Entry。

    HashTable使用synchronized来保证线程安全,但在线程竞争激烈的情况下HashTable的效率非常低下。因为当一个线程访问HashTable的同步方法,其他线程也访问HashTable的同步方法时,会进入阻塞或轮询状态。如线程1使用put进行元素添加,线程2不但不能使用put方法添加元素,也不能使用get方法来获取元素,所以竞争越激烈效率越低。

    2.预备知识

    Hash

    散列,哈希:把任意长度的输入通过一种算法(散列),变换成为固定长度的输出,这个输出值就是散列值。属于压缩映射,容易产生哈希冲突。Hash算法有直接取余法等。

    产生哈希冲突时解决办法:开放寻址;2、再散列;3、链地址法(相同hash值的元素用链表串起来)。

    ConcurrentHashMap在发生hash冲突时采用了链地址法。

    md4,md5,sha-hash算法也属于hash算法,又称摘要算法。

    位运算

    2的0次方 = 1,2的1次方=2…….,以上表格代表数字 (2的5次方+2的3次方)= 40

    由上面的表格可以看出,数字类型在数字渐渐变大时,是由低位慢慢向高位扩展的。

    Java实际保存int型时 正数  第31位 =0        负数:第31位=1

    常用位运算有:

    1. 位与  &  (1&1=1         1&0=0      0&0=0)
    2. 位或  |   (1|1=1           1|0=1   0|0=0)
    3. 位非  ~  ( ~1=0         ~0=1)
    4. 位异或  ^   (1^1=0      1^0=1     0^0=0)
    5. <<有符号左移     >>有符号的右移    >>>无符号右移  例如:8 << 2 = 32       8>>2 = 2
    6. 取模的操作 a % (Math.pow(2,n)) 等价于 a&( Math.pow(2,n)-1)

    位运算适用:权限控制,物品的属性非常多时的保存

    3.  1.7中原理和实现

    • ConcurrentHashMap中的数据结构

    ConcurrentHashMap是由Segment数组结构和HashEntry数组结构组成。Segment实际继承自可重入锁(ReentrantLock),在ConcurrentHashMap里扮演锁的角色;HashEntry则用于存储键值对数据。一个ConcurrentHashMap里包含一个Segment数组,每个Segment里包含一个HashEntry数组,我们称之为table,每个HashEntry是一个链表结构的元素。

    面试常问:

    1. ConcurrentHashMap实现原理是怎么样的或者问ConcurrentHashMap如何在保证高并发下线程安全的同时实现了性能提升?

    答:ConcurrentHashMap允许多个修改操作并发进行,其关键在于使用了锁分离技术。它使用了多个锁来控制对hash表的不同部分进行的修改。内部使用段(Segment)来表示这些不同的部分,每个段其实就是一个小的hash table,只要多个修改操作发生在不同的段上,它们就可以并发进行。

    • 初始化做了什么事?

    初始化有三个参数

    initialCapacity:初始容量大小 ,默认16。

    loadFactor, 扩容因子,默认0.75,当一个Segment存储的元素数量大于initialCapacity* loadFactor时,该Segment会进行一次扩容。

    concurrencyLevel 并发度,默认16。并发度可以理解为程序运行时能够同时更新ConccurentHashMap且不产生锁竞争的最大线程数,实际上就是ConcurrentHashMap中的分段锁个数,即Segment[]的数组长度。如果并发度设置的过小,会带来严重的锁竞争问题;如果并发度设置的过大,原本位于同一个Segment内的访问会扩散到不同的Segment中,CPU cache命中率会下降,从而引起程序性能下降。

    构造方法中部分代码解惑:

    1、

     

    保证Segment数组的大小,一定为2的幂,例如用户设置并发度为17,则实际Segment数组大小则为32

    2、

    保证每个Segment中tabel数组的大小,一定为2的幂,初始化的三个参数取默认值时,table数组大小为2

    3、

    初始化Segment数组,并实际只填充Segment数组的第0个元素。

    4、

    用于定位元素所在segment。segmentShift表示偏移位数,通过前面的int类型的位的描述我们可以得知,int类型的数字在变大的过程中,低位总是比高位先填满的,为保证元素在segment级别分布的尽量均匀,计算元素所在segment时,总是取hash值的高位进行计算。segmentMask作用就是为了利用位运算中取模的操作:      a % (Math.pow(2,n)) 等价于 a&( Math.pow(2,n)-1)

    • 在get和put操作中,是如何快速定位元素放在哪个位置的?

    对于某个元素而言,一定是放在某个segment元素的某个table元素中的,所以在定位上,

    定位segment:取得key的hashcode值进行一次再散列(通过Wang/Jenkins算法),拿到再散列值后,以再散列值的高位进行取模得到当前元素在哪个segment上。

    定位table:同样是取得key的再散列值以后,用再散列值的全部和table的长度进行取模,得到当前元素在table的哪个元素上。

    • get()方法

    定位segment和定位table后,依次扫描这个table元素下的的链表,要么找到元素,要么返回null。

    在高并发下的情况下如何保证取得的元素是最新的?

    答:用于存储键值对数据的HashEntry,在设计上它的成员变量value等都是volatile类型的,这样就保证别的线程对value值的修改,get方法可以马上看到。

    • put()方法

    1、首先定位segment,当这个segment在map初始化后,还为null,由ensureSegment方法负责填充这个segment。

    1. 对Segment 加锁

    3、定位所在的table元素,并扫描table下的链表,找到时:

    没有找到时:

    • 扩容操作

    Segment 不扩容,扩容下面的table数组,每次都是将数组翻倍

    带来的好处

    假设原来table长度为4,那么元素在table中的分布是这样的:

    Hash值

    15

    23

    34

    56

    77

    在table中下标

    3  = 15%4

    3 = 23 % 4

    2 = 34%4

    0 = 56%4

    1 = 77 % 4

    扩容后table长度变为8,那么元素在table中的分布变成:

    Hash值

    56

    34

    77

    15,23

    下标

    0

    1

    2

    3

    4

    5

    6

    7

    可以看见 hash值为34和56的下标保持不变,而15,23,77的下标都是在原来下标的基础上+4即可,可以快速定位和减少重排次数。

    • size方法

    size的时候进行两次不加锁的统计,两次一致直接返回结果,不一致,重新加锁再次统计

    • 弱一致性

    get方法和containsKey方法都是通过对链表遍历判断是否存在key相同的节点以及获得该节点的value。但由于遍历过程中其他线程可能对链表结构做了调整,因此get和containsKey返回的可能是过时的数据,这一点是ConcurrentHashMap在弱一致性上的体现。

    4.  1.8中的原理和实现

    • 数据结构

    JDK1.8的实现已经摒弃了Segment的概念,而是直接用Node数组+链表+红黑树的数据结构来实现,并发控制使用Synchronized和CAS来操作,整个看起来就像是优化过且线程安全的HashMap,虽然在JDK1.8中还能看到Segment的数据结构,但是已经简化了属性,只是为了兼容旧版本

    在深入JDK1.8的put和get实现之前要知道一些常量设计和数据结构,这些是构成ConcurrentHashMap实现结构的基础,下面看一下基本属性:

    // node数组最大容量:2^30=1073741824
    private static final int MAXIMUM_CAPACITY = 1 << 30;
    // 默认初始值,必须是2的幕数
    private static final int DEFAULT_CAPACITY = 16;
    //数组可能最大值,需要与toArray()相关方法关联
    static final int MAX_ARRAY_SIZE = Integer.MAX_VALUE - 8;
    //并发级别,遗留下来的,为兼容以前的版本
    private static final int DEFAULT_CONCURRENCY_LEVEL = 16;
    // 负载因子
    private static final float LOAD_FACTOR = 0.75f;
    // 链表转红黑树阀值,> 8 链表转换为红黑树
    static final int TREEIFY_THRESHOLD = 8;
    //树转链表阀值,小于等于6(tranfer时,lc、hc=0两个计数器分别++记录原bin、新binTreeNode数量,<=UNTREEIFY_THRESHOLD 则untreeify(lo))
    static final int UNTREEIFY_THRESHOLD = 6;
    static final int MIN_TREEIFY_CAPACITY = 64;
    private static final int MIN_TRANSFER_STRIDE = 16;
    private static int RESIZE_STAMP_BITS = 16;
    // 2^15-1,help resize的最大线程数
    private static final int MAX_RESIZERS = (1 << (32 - RESIZE_STAMP_BITS)) - 1;
    // 32-16=16,sizeCtl中记录size大小的偏移量
    private static final int RESIZE_STAMP_SHIFT = 32 - RESIZE_STAMP_BITS;
    // forwarding nodes的hash值
    static final int MOVED     = -1; 
    // 树根节点的hash值
    static final int TREEBIN   = -2; 
    // ReservationNode的hash值
    static final int RESERVED  = -3; 
    // 可用处理器数量
    static final int NCPU = Runtime.getRuntime().availableProcessors();
    //存放node的数组
    transient volatile Node<K,V>[] table;
    /*控制标识符,用来控制table的初始化和扩容的操作,不同的值有不同的含义
     *当为负数时:-1代表正在初始化,-N代表有N-1个线程正在 进行扩容
     *当为0时:代表当时的table还没有被初始化
     *当为正数时:表示初始化或者下一次进行扩容的大小*/
    private transient volatile int sizeCtl;

    基本属性定义了ConcurrentHashMap的一些边界以及操作时的一些控制,下面看一些内部的一些结构组成,这些是整个ConcurrentHashMap整个数据结构的核心

    • put操作

    public V put(K key, V value) {
        return putVal(key, value, false);
    }
    /** Implementation for put and putIfAbsent */
    final V putVal(K key, V value, boolean onlyIfAbsent) {
        if (key == null || value == null) throw new NullPointerException();
        int hash = spread(key.hashCode()); //两次hash,减少hash冲突,可以均匀分布
        int binCount = 0;
        for (Node<K,V>[] tab = table;;) { //对这个table进行迭代
            Node<K,V> f; int n, i, fh;
            //这里就是上面构造方法没有进行初始化,在这里进行判断,为null就调用initTable进行初始化,属于懒汉模式初始化
            if (tab == null || (n = tab.length) == 0)
                tab = initTable();
            else if ((f = tabAt(tab, i = (n - 1) & hash)) == null) {//如果i位置没有数据,就直接无锁插入
                if (casTabAt(tab, i, null,
                             new Node<K,V>(hash, key, value, null)))
                    break;                   // no lock when adding to empty bin
            }
            else if ((fh = f.hash) == MOVED)//如果在进行扩容,则先进行扩容操作
                tab = helpTransfer(tab, f);
            else {
                V oldVal = null;
                //如果以上条件都不满足,那就要进行加锁操作,也就是存在hash冲突,锁住链表或者红黑树的头结点
                synchronized (f) {
                    if (tabAt(tab, i) == f) {
                        if (fh >= 0) { //表示该节点是链表结构
                            binCount = 1;
                            for (Node<K,V> e = f;; ++binCount) {
                                K ek;
                                //这里涉及到相同的key进行put就会覆盖原先的value
                                if (e.hash == hash &&
                                    ((ek = e.key) == key ||
                                     (ek != null && key.equals(ek)))) {
                                    oldVal = e.val;
                                    if (!onlyIfAbsent)
                                        e.val = value;
                                    break;
                                }
                                Node<K,V> pred = e;
                                if ((e = e.next) == null) {  //插入链表尾部
                                    pred.next = new Node<K,V>(hash, key,
                                                              value, null);
                                    break;
                                }
                            }
                        }
                        else if (f instanceof TreeBin) {//红黑树结构
                            Node<K,V> p;
                            binCount = 2;
                            //红黑树结构旋转插入
                            if ((p = ((TreeBin<K,V>)f).putTreeVal(hash, key,
                                                           value)) != null) {
                                oldVal = p.val;
                                if (!onlyIfAbsent)
                                    p.val = value;
                            }
                        }
                    }
                }
                if (binCount != 0) { //如果链表的长度大于8时就会进行红黑树的转换
                    if (binCount >= TREEIFY_THRESHOLD)
                        treeifyBin(tab, i);
                    if (oldVal != null)
                        return oldVal;
                    break;
                }
            }
        }
        addCount(1L, binCount);//统计size,并且检查是否需要扩容
        return null;
    }

    这个put的过程很清晰,对当前的table进行无条件自循环直到put成功,可以分成以下六步流程来概述

    1. 如果没有初始化就先调用initTable()方法来进行初始化过程
    2. 如果没有hash冲突就直接CAS插入
    3. 如果还在进行扩容操作就先进行扩容
    4. 如果存在hash冲突,就加锁来保证线程安全,这里有两种情况,一种是链表形式就直接遍历到尾端插入,一种是红黑树就按照红黑树结构插入,
    5. 最后一个如果该链表的数量大于阈值8,就要先转换成黑红树的结构,break再一次进入循环
    6. 如果添加成功就调用addCount()方法统计size,并且检查是否需要扩容

    现在我们来对每一步的细节进行源码分析,在第一步中,符合条件会进行初始化操作,我们来看看initTable()方法

    /**
     * Initializes table, using the size recorded in sizeCtl.
     */
    private final Node<K,V>[] initTable() {
        Node<K,V>[] tab; int sc;
        while ((tab = table) == null || tab.length == 0) {//空的table才能进入初始化操作
            if ((sc = sizeCtl) < 0) //sizeCtl<0表示其他线程已经在初始化了或者扩容了,挂起当前线程 
                Thread.yield(); // lost initialization race; just spin
            else if (U.compareAndSwapInt(this, SIZECTL, sc, -1)) {//CAS操作SIZECTL为-1,表示初始化状态
                try {
                    if ((tab = table) == null || tab.length == 0) {
                        int n = (sc > 0) ? sc : DEFAULT_CAPACITY;
                        @SuppressWarnings("unchecked")
                        Node<K,V>[] nt = (Node<K,V>[])new Node<?,?>[n];//初始化
                        table = tab = nt;
                        sc = n - (n >>> 2);//记录下次扩容的大小
                    }
                } finally {
                    sizeCtl = sc;
                }
                break;
            }
        }
        return tab;
    }

    如果相应位置的Node还未初始化,则通过CAS插入相应的数据

    1.  
      else if ((f = tabAt(tab, i = (n - 1) & hash)) == null) {
    2.  
      if (casTabAt(tab, i, null,
    3.  
      new Node<K,V>(hash, key, value, null)))
    4.  
      break; // no lock when adding to empty bin
    5.  
      }
    6.  
      /********************************/
    7.  
      static final <K,V> boolean casTabAt(Node<K,V>[] tab, int i,
    8.  
      Node<K,V> c, Node<K,V> v) {
    9.  
      return U.compareAndSwapObject(tab, ((long)i << ASHIFT) + ABASE, c, v);
    10.  
      }

    在第二步中没有hash冲突就直接调用Unsafe的方法CAS插入该元素,进入第三步如果容器正在扩容,则会调用helpTransfer()方法帮助扩容,现在我们跟进helpTransfer()方法看看 

    1.  
      /**
    2.  
      * Helps transfer if a resize is in progress.
    3.  
      * 帮助从旧的table的元素复制到新的table中
    4.  
      */
    5.  
      final Node<K,V>[] helpTransfer(Node<K,V>[] tab, Node<K,V> f) {
    6.  
      Node<K,V>[] nextTab; int sc;
    7.  
      if (tab != null && (f instanceof ForwardingNode) &&
    8.  
      (nextTab = ((ForwardingNode<K,V>)f).nextTable) != null) { //新的table nextTba已经存在前提下才能帮助扩容
    9.  
      int rs = resizeStamp(tab.length);
    10.  
      while (nextTab == nextTable && table == tab &&
    11.  
      (sc = sizeCtl) < 0) {
    12.  
      if ((sc >>> RESIZE_STAMP_SHIFT) != rs || sc == rs + 1 ||
    13.  
      sc == rs + MAX_RESIZERS || transferIndex <= 0)
    14.  
      break;
    15.  
      if (U.compareAndSwapInt(this, SIZECTL, sc, sc + 1)) {
    16.  
      transfer(tab, nextTab);//调用扩容方法
    17.  
      break;
    18.  
      }
    19.  
      }
    20.  
      return nextTab;
    21.  
      }
    22.  
      return table;
    23.  
      }

    其实helpTransfer()方法的目的就是调用多个工作线程一起帮助进行扩容,这样的效率就会更高,而不是只有检查到要扩容的那个线程进行扩容操作,其他线程就要等待扩容操作完成才能工作

    既然这里涉及到扩容的操作,我们也一起来看看扩容方法transfer()

    1.  
      private final void transfer(Node<K,V>[] tab, Node<K,V>[] nextTab) {
    2.  
      int n = tab.length, stride;
    3.  
      // 每核处理的量小于16,则强制赋值16
    4.  
      if ((stride = (NCPU > 1) ? (n >>> 3) / NCPU : n) < MIN_TRANSFER_STRIDE)
    5.  
      stride = MIN_TRANSFER_STRIDE; // subdivide range
    6.  
      if (nextTab == null) { // initiating
    7.  
      try {
    8.  
      @SuppressWarnings("unchecked")
    9.  
      Node<K,V>[] nt = (Node<K,V>[])new Node<?,?>[n << 1]; //构建一个nextTable对象,其容量为原来容量的两倍
    10.  
      nextTab = nt;
    11.  
      } catch (Throwable ex) { // try to cope with OOME
    12.  
      sizeCtl = Integer.MAX_VALUE;
    13.  
      return;
    14.  
      }
    15.  
      nextTable = nextTab;
    16.  
      transferIndex = n;
    17.  
      }
    18.  
      int nextn = nextTab.length;
    19.  
      // 连接点指针,用于标志位(fwd的hash值为-1,fwd.nextTable=nextTab)
    20.  
      ForwardingNode<K,V> fwd = new ForwardingNode<K,V>(nextTab);
    21.  
      // 当advance == true时,表明该节点已经处理过了
    22.  
      boolean advance = true;
    23.  
      boolean finishing = false; // to ensure sweep before committing nextTab
    24.  
      for (int i = 0, bound = 0;;) {
    25.  
      Node<K,V> f; int fh;
    26.  
      // 控制 --i ,遍历原hash表中的节点
    27.  
      while (advance) {
    28.  
      int nextIndex, nextBound;
    29.  
      if (--i >= bound || finishing)
    30.  
      advance = false;
    31.  
      else if ((nextIndex = transferIndex) <= 0) {
    32.  
      i = -1;
    33.  
      advance = false;
    34.  
      }
    35.  
      // 用CAS计算得到的transferIndex
    36.  
      else if (U.compareAndSwapInt
    37.  
      (this, TRANSFERINDEX, nextIndex,
    38.  
      nextBound = (nextIndex > stride ?
    39.  
      nextIndex - stride : 0))) {
    40.  
      bound = nextBound;
    41.  
      i = nextIndex - 1;
    42.  
      advance = false;
    43.  
      }
    44.  
      }
    45.  
      if (i < 0 || i >= n || i + n >= nextn) {
    46.  
      int sc;
    47.  
      // 已经完成所有节点复制了
    48.  
      if (finishing) {
    49.  
      nextTable = null;
    50.  
      table = nextTab; // table 指向nextTable
    51.  
      sizeCtl = (n << 1) - (n >>> 1); // sizeCtl阈值为原来的1.5倍
    52.  
      return; // 跳出死循环,
    53.  
      }
    54.  
      // CAS 更扩容阈值,在这里面sizectl值减一,说明新加入一个线程参与到扩容操作
    55.  
      if (U.compareAndSwapInt(this, SIZECTL, sc = sizeCtl, sc - 1)) {
    56.  
      if ((sc - 2) != resizeStamp(n) << RESIZE_STAMP_SHIFT)
    57.  
      return;
    58.  
      finishing = advance = true;
    59.  
      i = n; // recheck before commit
    60.  
      }
    61.  
      }
    62.  
      // 遍历的节点为null,则放入到ForwardingNode 指针节点
    63.  
      else if ((f = tabAt(tab, i)) == null)
    64.  
      advance = casTabAt(tab, i, null, fwd);
    65.  
      // f.hash == -1 表示遍历到了ForwardingNode节点,意味着该节点已经处理过了
    66.  
      // 这里是控制并发扩容的核心
    67.  
      else if ((fh = f.hash) == MOVED)
    68.  
      advance = true; // already processed
    69.  
      else {
    70.  
      // 节点加锁
    71.  
      synchronized (f) {
    72.  
      // 节点复制工作
    73.  
      if (tabAt(tab, i) == f) {
    74.  
      Node<K,V> ln, hn;
    75.  
      // fh >= 0 ,表示为链表节点
    76.  
      if (fh >= 0) {
    77.  
      // 构造两个链表 一个是原链表 另一个是原链表的反序排列
    78.  
      int runBit = fh & n;
    79.  
      Node<K,V> lastRun = f;
    80.  
      for (Node<K,V> p = f.next; p != null; p = p.next) {
    81.  
      int b = p.hash & n;
    82.  
      if (b != runBit) {
    83.  
      runBit = b;
    84.  
      lastRun = p;
    85.  
      }
    86.  
      }
    87.  
      if (runBit == 0) {
    88.  
      ln = lastRun;
    89.  
      hn = null;
    90.  
      }
    91.  
      else {
    92.  
      hn = lastRun;
    93.  
      ln = null;
    94.  
      }
    95.  
      for (Node<K,V> p = f; p != lastRun; p = p.next) {
    96.  
      int ph = p.hash; K pk = p.key; V pv = p.val;
    97.  
      if ((ph & n) == 0)
    98.  
      ln = new Node<K,V>(ph, pk, pv, ln);
    99.  
      else
    100.  
      hn = new Node<K,V>(ph, pk, pv, hn);
    101.  
      }
    102.  
      // 在nextTable i 位置处插上链表
    103.  
      setTabAt(nextTab, i, ln);
    104.  
      // 在nextTable i + n 位置处插上链表
    105.  
      setTabAt(nextTab, i + n, hn);
    106.  
      // 在table i 位置处插上ForwardingNode 表示该节点已经处理过了
    107.  
      setTabAt(tab, i, fwd);
    108.  
      // advance = true 可以执行--i动作,遍历节点
    109.  
      advance = true;
    110.  
      }
    111.  
      // 如果是TreeBin,则按照红黑树进行处理,处理逻辑与上面一致
    112.  
      else if (f instanceof TreeBin) {
    113.  
      TreeBin<K,V> t = (TreeBin<K,V>)f;
    114.  
      TreeNode<K,V> lo = null, loTail = null;
    115.  
      TreeNode<K,V> hi = null, hiTail = null;
    116.  
      int lc = 0, hc = 0;
    117.  
      for (Node<K,V> e = t.first; e != null; e = e.next) {
    118.  
      int h = e.hash;
    119.  
      TreeNode<K,V> p = new TreeNode<K,V>
    120.  
      (h, e.key, e.val, null, null);
    121.  
      if ((h & n) == 0) {
    122.  
      if ((p.prev = loTail) == null)
    123.  
      lo = p;
    124.  
      else
    125.  
      loTail.next = p;
    126.  
      loTail = p;
    127.  
      ++lc;
    128.  
      }
    129.  
      else {
    130.  
      if ((p.prev = hiTail) == null)
    131.  
      hi = p;
    132.  
      else
    133.  
      hiTail.next = p;
    134.  
      hiTail = p;
    135.  
      ++hc;
    136.  
      }
    137.  
      }
    138.  
      // 扩容后树节点个数若<=6,将树转链表
    139.  
      ln = (lc <= UNTREEIFY_THRESHOLD) ? untreeify(lo) :
    140.  
      (hc != 0) ? new TreeBin<K,V>(lo) : t;
    141.  
      hn = (hc <= UNTREEIFY_THRESHOLD) ? untreeify(hi) :
    142.  
      (lc != 0) ? new TreeBin<K,V>(hi) : t;
    143.  
      setTabAt(nextTab, i, ln);
    144.  
      setTabAt(nextTab, i + n, hn);
    145.  
      setTabAt(tab, i, fwd);
    146.  
      advance = true;
    147.  
      }
    148.  
      }
    149.  
      }
    150.  
      }
    151.  
      }
    152.  
      }

    扩容过程有点复杂,这里主要涉及到多线程并发扩容,ForwardingNode的作用就是支持扩容操作,将已处理的节点和空节点置为ForwardingNode,并发处理时多个线程经过ForwardingNode就表示已经遍历了,就往后遍历,下图是多线程合作扩容的过程:

    介绍完扩容过程,我们再次回到put流程,在第四步中是向链表或者红黑树里加节点,到第五步,会调用treeifyBin()方法进行链表转红黑树的过程

    1.  
      private final void treeifyBin(Node<K,V>[] tab, int index) {
    2.  
      Node<K,V> b; int n, sc;
    3.  
      if (tab != null) {
    4.  
      //如果整个table的数量小于64,就扩容至原来的一倍,不转红黑树了
    5.  
      //因为这个阈值扩容可以减少hash冲突,不必要去转红黑树
    6.  
      if ((n = tab.length) < MIN_TREEIFY_CAPACITY)
    7.  
      tryPresize(n << 1);
    8.  
      else if ((b = tabAt(tab, index)) != null && b.hash >= 0) {
    9.  
      synchronized (b) {
    10.  
      if (tabAt(tab, index) == b) {
    11.  
      TreeNode<K,V> hd = null, tl = null;
    12.  
      for (Node<K,V> e = b; e != null; e = e.next) {
    13.  
      //封装成TreeNode
    14.  
      TreeNode<K,V> p =
    15.  
      new TreeNode<K,V>(e.hash, e.key, e.val,
    16.  
      null, null);
    17.  
      if ((p.prev = tl) == null)
    18.  
      hd = p;
    19.  
      else
    20.  
      tl.next = p;
    21.  
      tl = p;
    22.  
      }
    23.  
      //通过TreeBin对象对TreeNode转换成红黑树
    24.  
      setTabAt(tab, index, new TreeBin<K,V>(hd));
    25.  
      }
    26.  
      }
    27.  
      }
    28.  
      }
    29.  
      }

    到第六步表示已经数据加入成功了,现在调用addCount()方法计算ConcurrentHashMap的size,在原来的基础上加一,现在来看看addCount()方法

    1.  
      private final void addCount(long x, int check) {
    2.  
      CounterCell[] as; long b, s;
    3.  
      //更新baseCount,table的数量,counterCells表示元素个数的变化
    4.  
      if ((as = counterCells) != null ||
    5.  
      !U.compareAndSwapLong(this, BASECOUNT, b = baseCount, s = b + x)) {
    6.  
      CounterCell a; long v; int m;
    7.  
      boolean uncontended = true;
    8.  
      //如果多个线程都在执行,则CAS失败,执行fullAddCount,全部加入count
    9.  
      if (as == null || (m = as.length - 1) < 0 ||
    10.  
      (a = as[ThreadLocalRandom.getProbe() & m]) == null ||
    11.  
      !(uncontended =
    12.  
      U.compareAndSwapLong(a, CELLVALUE, v = a.value, v + x))) {
    13.  
      fullAddCount(x, uncontended);
    14.  
      return;
    15.  
      }
    16.  
      if (check <= 1)
    17.  
      return;
    18.  
      s = sumCount();
    19.  
      }
    20.  
      //check>=0表示需要进行扩容操作
    21.  
      if (check >= 0) {
    22.  
      Node<K,V>[] tab, nt; int n, sc;
    23.  
      while (s >= (long)(sc = sizeCtl) && (tab = table) != null &&
    24.  
      (n = tab.length) < MAXIMUM_CAPACITY) {
    25.  
      int rs = resizeStamp(n);
    26.  
      if (sc < 0) {
    27.  
      if ((sc >>> RESIZE_STAMP_SHIFT) != rs || sc == rs + 1 ||
    28.  
      sc == rs + MAX_RESIZERS || (nt = nextTable) == null ||
    29.  
      transferIndex <= 0)
    30.  
      break;
    31.  
      if (U.compareAndSwapInt(this, SIZECTL, sc, sc + 1))
    32.  
      transfer(tab, nt);
    33.  
      }
    34.  
      //当前线程发起库哦哦让操作,nextTable=null
    35.  
      else if (U.compareAndSwapInt(this, SIZECTL, sc,
    36.  
      (rs << RESIZE_STAMP_SHIFT) + 2))
    37.  
      transfer(tab, null);
    38.  
      s = sumCount();
    39.  
      }
    40.  
      }
    41.  
      }

    put的流程现在已经分析完了,你可以从中发现,他在并发处理中使用的是乐观锁,当有冲突的时候才进行并发处理,而且流程步骤很清晰,但是细节设计的很复杂,毕竟多线程的场景也复杂

    • get操作

    我们现在要回到开始的例子中,我们对个人信息进行了新增之后,我们要获取所新增的信息,使用String name = map.get(“name”)获取新增的name信息,现在我们依旧用debug的方式来分析下ConcurrentHashMap的获取方法get()

    1.  
      public V get(Object key) {
    2.  
      Node<K,V>[] tab; Node<K,V> e, p; int n, eh; K ek;
    3.  
      int h = spread(key.hashCode()); //计算hash,再散列
    4.  
      if ((tab = table) != null && (n = tab.length) > 0 &&
    5.  
      (e = tabAt(tab, (n - 1) & h)) != null) {//读取首节点的Node元素
    6.  
      if ((eh = e.hash) == h) { //如果该节点就是首节点就返回
    7.  
      if ((ek = e.key) == key || (ek != null && key.equals(ek)))
    8.  
      return e.val;
    9.  
      }
    10.  
      //hash值为负值表示正在扩容,这个时候查的是ForwardingNode的find方法来定位到nextTable来
    11.  
      //查找,查找到就返回
    12.  
      else if (eh < 0)
    13.  
      return (p = e.find(h, key)) != null ? p.val : null;
    14.  
      while ((e = e.next) != null) {//既不是首节点也不是ForwardingNode,那就往下遍历
    15.  
      if (e.hash == h &&
    16.  
      ((ek = e.key) == key || (ek != null && key.equals(ek))))
    17.  
      return e.val;
    18.  
      }
    19.  
      }
    20.  
      return null;
    21.  
      }

    ConcurrentHashMap的get操作的流程很简单,也很清晰,可以分为三个步骤来描述

    1. 计算hash值,定位到该table索引位置,如果是首节点符合就返回
    2. 如果遇到扩容的时候,会调用标志正在扩容节点ForwardingNode的find方法,查找该节点,匹配就返回
    3. 以上都不符合的话,就往下遍历节点,匹配就返回,否则最后就返回null
    • size操作

    最后我们来看下例子中最后获取size的方式int size = map.size();,现在让我们看下size()方法

    1.  
      public int size() {
    2.  
      long n = sumCount();
    3.  
      return ((n < 0L) ? 0 :
    4.  
      (n > (long)Integer.MAX_VALUE) ? Integer.MAX_VALUE :
    5.  
      (int)n);
    6.  
      }
    7.  
      final long sumCount() {
    8.  
      CounterCell[] as = counterCells; CounterCell a; //变化的数量
    9.  
      long sum = baseCount;
    10.  
      if (as != null) {
    11.  
      for (int i = 0; i < as.length; ++i) {
    12.  
      if ((a = as[i]) != null)
    13.  
      sum += a.value;
    14.  
      }
    15.  
      }
    16.  
      return sum;
    17.  
      }

     在JDK1.8版本中,对于size的计算,在扩容和addCount()方法就已经有处理了,JDK1.7是在调用size()方法才去计算,其实在并发集合中去计算size是没有多大的意义的,因为size是实时在变的,只能计算某一刻的大小,但是某一刻太快了,人的感知是一个时间段,所以并不是很精确。

    5.总结

    1. JDK1.8取消了segment数组,直接用table保存数据,锁的粒度更小,减少并发冲突的概率。
    2. JDK1.8存储数据时采用了链表+红黑树的形式,纯链表的形式时间复杂度为O(n),红黑树则为O(logn),性能提升很大。什么时候链表转红黑树?当key值相等的元素形成的链表中元素个数超过8个的时候。
    3. JDK1.8的实现降低锁的粒度,JDK1.7版本锁的粒度是基于Segment的,包含多个HashEntry,而JDK1.8锁的粒度就是HashEntry(首节点)
    4. JDK1.8版本的数据结构变得更加简单,使得操作也更加清晰流畅,因为已经使用synchronized来进行同步,所以不需要分段锁的概念,也就不需要Segment这种数据结构了,由于粒度的降低,实现的复杂度也增加了
    5. JDK1.8使用红黑树来优化链表,基于长度很长的链表的遍历是一个很漫长的过程,而红黑树的遍历效率是很快的,代替一定阈值的链表,这样形成一个最佳拍档
    6. JDK1.8为什么使用内置锁synchronized来代替重入锁ReentrantLock,我觉得有以下几点
      1. 因为粒度降低了,在相对而言的低粒度加锁方式,synchronized并不比ReentrantLock差,在粗粒度加锁中ReentrantLock可能通过Condition来控制各个低粒度的边界,更加的灵活,而在低粒度中,Condition的优势就没有了
      2. JVM的开发团队从来都没有放弃synchronized,而且基于JVM的synchronized优化空间更大,使用内嵌的关键字比使用API更加自然
      3. 在大量的数据操作下,对于JVM的内存压力,基于API的ReentrantLock会开销更多的内存,虽然不是瓶颈,但是也是一个选择依据

    ConcurrentHashMap 1.7和1.8的区别

    1、整体结构

    1.7:Segment + HashEntry + Unsafe

    1.8: 移除Segment,使锁的粒度更小,Synchronized + CAS + Node + Unsafe

    2、put()

    1.7:先定位Segment,再定位桶,put全程加锁,没有获取锁的线程提前找桶的位置,并最多自旋64次获取锁,超过则挂起。

    1.8:由于移除了Segment,类似HashMap,可以直接定位到桶,拿到first节点后进行判断,1、为空则CAS插入;2、为-1则说明在扩容,则跟着一起扩容;3、else则加锁put(类似1.7)

    3、get()

    基本类似,由于value声明为volatile,保证了修改的可见性,因此不需要加锁。

    4、resize()

    1.7:跟HashMap步骤一样,只不过是搬到单线程中执行,避免了HashMap在1.7中扩容时死循环的问题,保证线程安全。

    1.8:支持并发扩容,HashMap扩容在1.8中由头插改为尾插(为了避免死循环问题),ConcurrentHashmap也是,迁移也是从尾部开始,扩容前在桶的头部放置一个hash值为-1的节点,这样别的线程访问时就能判断是否该桶已经被其他线程处理过了。

    5、size()

    1.7:很经典的思路:计算两次,如果不变则返回计算结果,若不一致,则锁住所有的Segment求和。

    1.8:用baseCount来存储当前的节点个数,这就设计到baseCount并发环境下修改的问题(说实话我没看懂-_-!)。

    总结

    面试官还提了一个很有意思的问题,背景是这样,如何在很短的时间内将大量数据插入到ConcurrentHashMap,换句话说,就是提高ConcurrentHashMap的插入效率,我大概说了尽量散列均匀和避免加锁两个点,但是面试官还在问还有什么思路没?如果有人看到又有什么方案的话请留言!万分感激!

    注:将大批量数据保存到map中有两个地方的消耗将会是比较大的:第一个是扩容操作,第二个是锁资源的争夺。第一个扩容的问题,主要还是要通过配置合理的容量大小和扩容因子,尽可能减少扩容事件的发生;第二个锁资源的争夺,在put方法中会使用synchonized对头节点进行加锁,而锁本身也是分等级的,因此我们的主要思路就是尽可能的避免锁等级。所以,针对第二点,我们可以将数据通过通过ConcurrentHashMap的spread方法进行预处理,这样我们可以将存在hash冲突的数据放在一个组里面,每个组都使用单线程进行put操作,这样的话可以保证锁仅停留在偏向锁这个级别,不会升级,从而提升效率

    用线程池或者信号量来控制线程数量是必须的。另外,可以将多组Hash冲突的数据集合到一个线程就OK,只需要确保数据上只有一个线程持有锁,锁就不会升级了

  • 相关阅读:
    HDU 3944 DP? (Lucas定理)
    Gym 100548F Color (数论容斥原理+组合数)
    Gym 100548K Last Defence (数论)
    Gym 100548A Built with Qinghuai and Ari Factor (水题)
    npx命令
    开源许可证(转载)
    CMD命令
    学习ES6的全部特性
    深入浅出数据库索引(转)
    .net基础总复习(3)
  • 原文地址:https://www.cnblogs.com/xuwc/p/14044747.html
Copyright © 2011-2022 走看看