zoukankan      html  css  js  c++  java
  • 线上redis服务内存异常分析。

    项目中,新增了一个统计功能,用来统计不同手机型号的每天访问pv,看了下redis2.6有个setbit的功能,于是打算尝尝鲜把

    redis从2.4更新到了2.6

    因为是租了vps。服务器的内存只有4g可以用,最近发现系统 负载很大。发现是redis服务引起的。

    查了下redis的key db1 6w+。db1 不到2k。内存监控确有4.5g(这个很奇怪)。

    这是很不正常的。想了最近在db1加了很多bit。于是把db1 flushdb。

    发现内存占用一下就刷刷的降下来了。

    查了不少关于reids bit的资料。刚开始还坚信可能是redis的一个bug。昨天晚上找了凌晨2点多。还是没啥头绪。很恼火。

    今天仔细看了下redis的 setbit 命令。恍然大悟。我做了件多么傻b的事情。

    setbit 命令

    SETBIT key offset value

    参数 offset  的说明

    offset 参数必须大于或等于 0 ,小于 2^32 (bit 映射被限制在 512 MB 之内)。

    对使用大的 offsetSETBIT 操作来说,内存分配可能造成 Redis 服务器被阻塞。具体参考 SETRANGE 命令,warning(警告)部分。

     

    然后在程序中查看我的offset设置。

    因为是需要统计某个机型每天的pv。所有为了最大限度防止误差,offset 格式是当前时间的HHmmssss

    SimpleDateFormat msdf = new SimpleDateFormat("HHmmssss");
    long offset = Long.valueOf(msdf.format(new Date()));//时分秒毫秒
    redisClient.setBit(hkey,offset,true);
    

      算了下offset的最大值是23595999 最小值是0,平均值是11798000,也就是说。在二进制数据上在11798000位上置1

        然后又算了下

        11798000/8/1024/1024=1.4M

    因为 db1 全是bit结构,差不多2k的样子。这样一共占用了1.4*2k=2.8g内存。

    这就找出问题所在了。修改offset的大小即可。

     

     

  • 相关阅读:
    了解大数据的特点、来源与数据呈现方式
    结对项目-四则运算 “软件”之升级版
    个人项目-小学四则运算 “软件”之初版
    大数据应用期末作业
    分布式文件系统HDFS 练习
    安装Hadoop
    爬虫大作业
    爬取全部的校园新闻
    理解爬虫原理
    中文词频统计与词云生成
  • 原文地址:https://www.cnblogs.com/montya/p/3162114.html
Copyright © 2011-2022 走看看