zoukankan      html  css  js  c++  java
  • 用bitSet做百万级ip去重

    如果直接将几百万数据仍到bitset,内存是否够用?实际测试,600万ip放到一个bitSet中,jvm内存会爆。

    所以,就简单做了下分组,构建一个HashMap<String, BitSet>,

    以192.168.6.2为例,将192.168直接截取为字符串,当作hashmap的key,后2位补零为006002,将006002放入“192.168”分组的bitSet中。

    适用场景:

        这种构建bitSet的去重方式,适合判断某个ip是否在百万级的ip集合中。

     不适用输入一个百万级ip集合,去重后输出这个结果集。

    代码如下:

    import java.util.BitSet;
    import java.util.HashMap;

    public class DistcIp {

    public static void main(String[] args) {
      HashMap<String, BitSet> groupBitSet=new HashMap<String, BitSet>();
      //先遍历ip,
      String ip1="192.168.0.3";
      String ip2="192.168.0.4";
      String ip3="192.162.0.6";
      String ip4="192.162.0.6";
      String ip5="192.157.0.4";

      String[] strs=new String[] {ip1,ip2,ip3,ip4,ip5};

      for (String cip : strs) {
      String group=getBitSetGroup4IP(cip);
      int value=getBitSetValue4IP(cip);
      if(groupBitSet.containsKey(group)) {
        groupBitSet.get(group).set(value);
      }else {
        BitSet bs= new BitSet();
        bs.set(value);
        groupBitSet.put(group, bs);
      }
     }

      String group2=getBitSetGroup4IP(ip1);
      int value2=getBitSetValue4IP(ip1);
      BitSet bs=groupBitSet.get(group2);
      System.out.println(bs.get(value2));

      String group3=getBitSetGroup4IP("192.168.0.1");
      int value3=getBitSetValue4IP("192.168.0.1");
      BitSet b3=groupBitSet.get(group3);
      System.out.println(b3.get(value3));

    }

      /**
      * 用来构建BitSet数值;
      * @param ip
      * @return int
      */
      static int getBitSetValue4IP(String ip){
        String[] ips=ip.split("\.");
        if(ips.length!=4) return 0;
        String tmp=formatVal(ips[2])+formatVal(ips[3]);
        return Integer.valueOf(tmp);
      }

      /**
      * 用来构建BitSet分组;
      * @param ip
      * @return String
      */
      String getBitSetGroup4IP(String ip){
        String[] ips=ip.split("\.");
        if(ips.length!=4) return null;
        return ips[0]+"."+ips[1];
      }

      //这个是用来补零的,如:125.42.1.8 ->125.042.001.008
      static String formatVal(String s) {
        String res="";
        char[] ca=s.toCharArray();
        for(int i=ca.length;i<3;i++) {
          res+="0";
        }
        return res+s;
      }

    }

  • 相关阅读:
    SSD报告
    House of Spirit学习调试验证与实践
    怎样改动SharePoint管理中心的语言
    PuTTY连接Linuxserver常常断线解决方式
    HDU 2819 Swap (行列匹配+输出解)
    HDOJ--1061--Rightmost Digit
    POJ Cow Exhibition
    程序员之---C语言细节24(段错误、类型提升、sizeof &#39;A&#39;)
    java之 ------ 图形界面(三)
    Oracle 安装报错 [INS-06101] IP address of localhost could not be determined 解决方法
  • 原文地址:https://www.cnblogs.com/yanghaolie/p/9240334.html
Copyright © 2011-2022 走看看