zoukankan      html  css  js  c++  java
  • 深入理解HashMap 的工作原理及代码实现,什么时候用到红黑树

    GitHub:https://github.com/JDawnF

    一.HashMap的内部结构(线程不安全,基于jdk1.7):

    • hashmap是无序的,因为每次根据 key 的 hashcode 映射到 Entry 数组上,所以遍历出来的顺序并不是写入的顺序
    • HashMap 底层是基于数组和链表实现的,如图所示,其中两个重要的参数:容量和负载因子;容量的默认大小是 16,负载因子是 0.75,当 HashMap 的 size > 16*0.75 时就会发生扩容(容量和负载因子都可以自由调整)。 
    • 内部包含了一个 Entry 类型的数组 table。HashMap的主干是一个Entry数组。Entry是HashMap的基本组成单元,每一个Entry包含一个key-value键值对。

      //HashMap的主干数组,可以看到就是一个Entry数组,初始值为空数组{},主干数组的长度一定是2的次幂
       transient Node<K,V>[] table;
      

      static class Entry<K,V> implements Map.Entry<K,V> {
          final K key;
          V value;
          Entry<K,V> next;//存储指向下一个Entry的引用,单链表结构
          int hash;//对key的hashcode值进行hash运算后得到的值,存储在Entry,避免重复计算
           
          //创建新的Entry
          Entry(int h, K k, V v, Entry<K,V> n) {
              value = v;
              next = n;
              key = k;
              hash = h;
          }
      
          public final K getKey() {
              return key;
          }
      
          public final V getValue() {
              return value;
          }
      
          public final V setValue(V newValue) {
              V oldValue = value;
              value = newValue;
              return oldValue;
          }
      
          public final boolean equals(Object o) {
              if (!(o instanceof Map.Entry))
                  return false;
              Map.Entry e = (Map.Entry)o;
              Object k1 = getKey();
              Object k2 = e.getKey();
              if (k1 == k2 || (k1 != null && k1.equals(k2))) {
                  Object v1 = getValue();
                  Object v2 = e.getValue();
                  if (v1 == v2 || (v1 != null && v1.equals(v2)))
                      return true;
              }
              return false;
          }
      
          public final int hashCode() {
              return Objects.hashCode(getKey()) ^ Objects.hashCode(getValue());
          }
      
          public final String toString() {
              return getKey() + "=" + getValue();
          }
      }

      Entry 存储着键值对。它包含了四个字段,从 next 字段我们可以看出 Entry 是一个链表。即数组中的每个位置被当成一个桶,一个桶存放一个链表。HashMap 使用拉链法来解决冲突,同一个链表中存放哈希值相同的 Entry。

    • 简单来说,HashMap由数组+链表组成的,数组是HashMap的主体,链表则是主要为了解决哈希冲突而存在的,如果定位到的数组位置不含链表(当前entry的next指向null),那么对于查找,添加等操作很快,仅需一次寻址即可;如果定位到的数组包含链表,对于添加操作,其时间复杂度为O(n),首先遍历链表,存在即覆盖,否则新增;对于查找操作来讲,仍需遍历链表,然后通过key对象的equals方法逐一比对查找。所以,性能考虑,HashMap中的链表出现越少,性能才会越好。

      
      //实际存储的key-value键值对的个数
      transient int size;
      //阈值,当table == {}时,该值为初始容量(初始容量默认为16);当table被填充了,也就是为table分配内存空间后,threshold一般为 capacity*loadFactory。HashMap在进行扩容时需要参考threshold,后面会详细谈到
      int threshold;
      //负载因子,代表了table的填充度有多少,默认是0.75
      final float loadFactor;
      //用于快速失败,由于HashMap非线程安全,在对HashMap进行迭代时,如果期间其他线程的参与导致HashMap的结构发生变化了(比如put,remove等操作),需要抛出异常ConcurrentModificationException
      transient int modCount;

    二、拉链法的工作原理(解决hash冲突)

    在哈希表中进行插入和查找操作同理,先通过哈希函数计算出实际存储地址,然后从数组中对应地址取出即可。所谓哈希冲突是指两个元素通过哈希函数计算出来的值是相同的,即当我们对某个元素进行哈希运算,得到一个存储地址,然后要进行插入的时候,发现已经被其他元素占用了,其实这就是所谓的哈希冲突。所以,好的哈希函数会尽可能地保证 计算简单散列地址分布均匀。

    哈希冲突的解决方案有多种:开放定址法(发生冲突,继续寻找下一块未被占用的存储地址),再散列函数法,链地址法,而HashMap即是采用了链地址法,也就是数组+链表的方式。

    • 新建一个 HashMap,默认大小为 16;

    • 插入 <K1,V1> 键值对,先计算 K1 的 hashCode 为 115,使用除留余数法得到所在的桶下标 115%16=3。
    • 插入 <K2,V2> 键值对,先计算 K2 的 hashCode 为 118,使用除留余数法得到所在的桶下标 118%16=6。
    • 插入 <K3,V3> 键值对,先计算 K3 的 hashCode 为 118,使用除留余数法得到所在的桶下标 118%16=6,插在 <K2,V2> 前面。
    • 应该注意到链表的插入是以头插法方式进行的,例如上面的 <K3,V3> 不是插在 <K2,V2> 后面,而是插入在链表头部。
    • 查找需要分成两步进行:

      • 计算键值对所在的桶;
      • 在链表上顺序查找,时间复杂度显然和链表的长度成正比。
    • HashMap<String, String> map = new HashMap<>();
      map.put("K1", "V1");
      map.put("K2", "V2");
      map.put("K3", "V3");

      下面的桶对应数组的一个元素,即数组中的每个位置被当成一个桶,一个桶放一个链表。

    • put方法:首先会将传入的 Key 做hash运算计算出 hashcode,然后根据数组长度取模计算出在数组中的 index 下标。

      由于在计算中位运算比取模运算效率高的多,所以 HashMap 规定数组的长度为 2^n 。这样用 2^n - 1 做位运算与取模效果一致,并且效率还要高出许多。

      由于数组的长度有限,所以难免会出现不同的 Key 通过运算得到的 index 相同,这种情况可以利用链表来解决,HashMap 会在 table[index]处形成链表,采用头插法将数据插入到链表中。

      public V put(K key, V value) {
      //如果table数组为空数组{},进行数组填充(为table分配实际内存空间),入参为threshold,此时threshold为initialCapacity 默认是1<<4(24=16)
          if (table == EMPTY_TABLE) {
              inflateTable(threshold);
          }
          //如果key为null,存储位置为table[0]或table[0]的冲突链上
          if (key == null)
              return putForNullKey(value);
          int hash = hash(key);//对key的hashcode进一步计算,确保散列均匀
          // 确定桶下标,返回数组下表
          int i = indexFor(hash, table.length);
          // 先找出是否已经存在键为 key 的键值对,如果存在的话就更新(覆盖)这个键值对的值为 value
          for (Entry<K,V> e = table[i]; e != null; e = e.next) {
              Object k;
              if (e.hash == hash && ((k = e.key) == key || key.equals(k))) {
                  V oldValue = e.value;
                  e.value = value;
                  e.recordAccess(this);
                  return oldValue;
              }
          }
      
          modCount++;//保证并发访问时,若HashMap内部结构发生变化,快速响应失败
          // 插入新键值对,即增加新的entry
          addEntry(hash, key, value, i);
          return null;
      }

      HashMap 允许插入键为 null 的键值对。但是因为无法调用 null 的 hashCode() 方法,也就无法确定该键值对的桶下标,只能通过强制指定一个桶下标来存放。HashMap 使用第 0 个桶存放键为 null 的键值对。

      private V putForNullKey(V value) {
          for (Entry<K,V> e = table[0]; e != null; e = e.next) {
              if (e.key == null) {
                  V oldValue = e.value;
                  e.value = value;
                  e.recordAccess(this);
                  return oldValue;
              }
          }
          modCount++;
          addEntry(0, null, value, 0);
          return null;
      }

      使用链表的头插法,也就是新的键值对插在链表的头部,而不是链表的尾部。

      void addEntry(int hash, K key, V value, int bucketIndex) {
          if ((size >= threshold) && (null != table[bucketIndex])) {
              resize(2 * table.length);//当size超过临界阈值threshold,并且即将发生哈希冲突时进行扩容
              hash = (null != key) ? hash(key) : 0;
              bucketIndex = indexFor(hash, table.length);
          }
      
          createEntry(hash, key, value, bucketIndex);
      }
      
      void createEntry(int hash, K key, V value, int bucketIndex) {
          Entry<K,V> e = table[bucketIndex];
          // 头插法,链表头部指向新的键值对
          table[bucketIndex] = new Entry<>(hash, key, value, e);
          size++;
      }
      Entry(int h, K k, V v, Entry<K,V> n) {
          value = v;
          next = n;
          key = k;
          hash = h;
      }
      

      resize是扩容,默认扩为原来的2倍大小。通过addEntry的代码能够得知,当发生哈希冲突并且size大于阈值的时候,需要进行数组扩容,扩容时,需要新建一个长度为之前数组2倍的新的数组,然后将当前的Entry数组中的元素全部传输过去,扩容后的新数组长度为之前的2倍,所以扩容相对来说是个耗资源的操作。

    三、具体实现:

    首先,先看看inflateTable:

    private void inflateTable(int toSize) {
            int capacity = roundUpToPowerOf2(toSize);//capacity一定是2的次幂
    ;//此处为threshold赋值,取capacity*loadFactor和MAXIMUM_CAPACITY+1的最小值,capaticy一定不会超过
            threshold = (int) Math.min(capacity * loadFactor, MAXIMUM_CAPACITY + 1)MAXIMUM_CAPACITY,除非loadFactor大于1
            table = new Entry[capacity];
            initHashSeedAsNeeded(capacity);
        }

    inflateTable这个方法用于为主干数组table在内存中分配存储空间,通过roundUpToPowerOf2(toSize)可以确保capacity为大于或等于toSize的最接近toSize的二次幂,比如toSize=13,则capacity=16;to_size=16,capacity=16;to_size=17,capacity=32.

    private static int roundUpToPowerOf2(int number) {
            // assert number >= 0 : "number must be non-negative";
            return number >= MAXIMUM_CAPACITY
                    ? MAXIMUM_CAPACITY
                    : (number > 1) ? Integer.highestOneBit((number - 1) << 1) : 1;
        }

    roundUpToPowerOf2中的这段处理使得数组长度一定为2的次幂,Integer.highestOneBit是用来获取最左边的bit(其他bit位为0)所代表的数值.

    hash函数:

    //这是一个神奇的函数,用了很多的异或,移位等运算,对key的hashcode进一步进行计算以及二进制位的调整等来保证最终获取的存储位置尽量分布均匀
    final int hash(Object k) {
            int h = hashSeed;
            if (0 != h && k instanceof String) {
                return sun.misc.Hashing.stringHash32((String) k);
            }
    
            h ^= k.hashCode();
    
            h ^= (h >>> 20) ^ (h >>> 12);
            return h ^ (h >>> 7) ^ (h >>> 4);
        }

    以上hash函数计算出的值,通过indexFor进一步处理来获取实际的存储位置

    /**
         * 返回数组下标
         */
        static int indexFor(int h, int length) {
            return h & (length-1);
        }

     h&(length-1)保证获取的index一定在数组范围内,举个例子,默认容量16,length-1=15,h=18,转换成二进制计算为

    最终计算出的index=2。有些版本的对于此处的计算会使用 取模运算,也能保证index一定在数组范围内,不过位运算对计算机来说,性能更高一些(HashMap中有大量位运算)

    注意:

    • 在并发环境下使用 HashMap 容易出现死循环。

    • 并发场景发生扩容,调用 resize() 方法里的 rehash() 时,容易出现环形链表。这样当获取一个不存在的 key 时,计算出的 index 正好是环形链表的下标时就会出现死循环。

    • 在 JDK1.8 中对 HashMap 进行了优化: 当 hash 碰撞之后写入链表的长度超过了阈值(默认为8),链表将会转换为红黑树。假设 hash 冲突非常严重,一个数组后面接了很长的链表,此时重新的时间复杂度就是 O(n) 。如果是红黑树,时间复杂度就是 O(logn) 。

    此外,JDK1.8以后在解决哈希冲突时有了较大的变化,当链表长度大于阈值(默认为8)时,将链表转化为红黑树,以减少搜索时间。

    JDK1.8

    static final int TREEIFY_THRESHOLD = 8;    // 超过8就转为红黑树
    static final int UNTREEIFY_THRESHOLD = 6;    // 少于6红黑树则转为链表

    https://zhuanlan.zhihu.com/p/21673805

    http://www.cnblogs.com/chengxiao/p/6059914.html

  • 相关阅读:
    BOI 2002 双调路径
    BOI'98 DAY 2 TASK 1 CONFERENCE CALL Dijkstra/Dijkstra+priority_queue/SPFA
    USACO 2013 November Contest, Silver Problem 2. Crowded Cows 单调队列
    BOI 2003 Problem. Spaceship
    USACO 2006 November Contest Problem. Road Blocks SPFA
    CEOI 2004 Trial session Problem. Journey DFS
    USACO 2015 January Contest, Silver Problem 2. Cow Routing Dijkstra
    LG P1233 木棍加工 动态规划,Dilworth
    LG P1020 导弹拦截 Dilworth
    USACO 2007 February Contest, Silver Problem 3. Silver Cow Party SPFA
  • 原文地址:https://www.cnblogs.com/baichendongyang/p/13235502.html
Copyright © 2011-2022 走看看