zoukankan      html  css  js  c++  java
  • mongodb 占用内存及解决方法

    1.先了解一下linux对内存的管理方式: 
    在Linux里(别的系统也差不多),内存有物理内存和虚拟内存之说,物理内存是什么自然无需解释,虚拟内存实际是物理内存的抽象,多数情况下,出于方便性的考虑,程序访问的都是虚拟内存地址,然后操作系统会把它翻译成物理内存地址。 
    很多人会把虚拟内存和Swap混为一谈,实际上Swap只是虚拟内存引申出的一种技术而已:操作系统一旦物理内存不足,为了腾出内存空间存放新内容,就会把当前物理内存中的内容放到交换分区里,稍后用到的时候再取回来,需要注意的是,Swap的使用可能会带来性能问题,偶尔为之无需紧张,糟糕的是物理内存和交换分区频繁的发生数据交换,这被称之为Swap颠簸,一旦发生这种情况,先要明确是什么原因造成的,如果是内存不足就好办了,加内存就可以解决,不过有的时候即使内存充足也可能会出现这种问题。解决方法是限制使用Swap: 

    [root@mongodb ~]# sysctl -w vm.swappiness=0 

    查看内存情况最常用的是free命令: 

    [root@mongodb ~]# free -m
                  total        used        free      shared  buff/cache   available
    Mem:           7822        5093         129           0        2599        2443
    Swap:             0           0           0

    新手看到used一栏数值偏大,free一栏数值偏小,往往会认为内存要用光了。其实并非如此,之所以这样是因为每当我们操作文件的时候,Linux都会尽可能的把文件缓存到内存里,这样下次访问的时候,就可以直接从内存中取结果,所以cached一栏的数值非常的大,不过不用担心,这部分内存是可回收的,操作系统会按照LRU算法淘汰冷数据。除了cached,还有一个buffers,它和cached类似,也是可回收的,不过它的侧重点在于缓解不同设备的操作速度不一致造成的阻塞,这里就不多做解释了。 
    知道了原理,我们就可以推算出系统可用的内存是free + buffers + cached,至于系统实际使用的内存是used – buffers – cached。

    除了free命令,还可以使用sar命令:

    [root@mongodb ~]# sar -r
    Linux 3.10.0-514.6.2.el7.x86_64 (mongodb)       07/16/2021      _x86_64_        (4 CPU)
    
    12:00:01 AM kbmemfree kbmemused  %memused kbbuffers  kbcached  kbcommit   %commit  kbactive   kbinact   kbdirty
    12:10:01 AM    178424   7832016     97.77     12600    997560   7404844     92.44   7050672    527532       124
    12:20:01 AM    132188   7878252     98.35     12628   1043284   7404820     92.44   7068096    556064        80
    12:30:01 AM    152124   7858316     98.10     12544   1023568   7404788     92.44   7078700    525200        92
    12:40:01 AM    168408   7842032     97.90     15228   1005108   7404800     92.44   7053724    534792       144
    12:50:02 AM    150300   7860140     98.12     12688   1009264   7434844     92.81   7075148    530472       664
    01:00:01 AM    129680   7880760     98.38     10624   1033012   7422296     92.66   7084864    541296       372
    01:10:01 AM    135820   7874620     98.30      6452   1054888   7422292     92.66   7088364    537704     17972
    01:20:01 AM    146848   7863592     98.17      8180   1063844   7422324     92.66   7077476    539528     34080
    01:30:01 AM    130196   7880244     98.37      8616   1089936   7419544     92.62   7074288    558760     31048

    [root@mongodb ~]# sar -W
    Linux 3.10.0-514.6.2.el7.x86_64 (mongodb) 07/16/2021 _x86_64_ (4 CPU)

    12:00:01 AM pswpin/s pswpout/s
    12:10:01 AM 0.00 0.00
    12:20:01 AM 0.00 0.00
    12:30:01 AM 0.00 0.00
    12:40:01 AM 0.00 0.00
    12:50:02 AM 0.00 0.00
    01:00:01 AM 0.00 0.00

    2.看一个MongoDB服务器的top命令结果:

    [root@mongodb ~]# top -p $(pidof mongod)
    
    top - 10:25:25 up 1074 days, 21:31,  2 users,  load average: 0.77, 0.63, 0.58
    Tasks:   1 total,   0 running,   1 sleeping,   0 stopped,   0 zombie
    %Cpu(s):  6.8 us,  1.1 sy,  0.0 ni, 91.6 id,  0.5 wa,  0.0 hi,  0.1 si,  0.0 st
    KiB Mem :  8010440 total,   848492 free,  5102988 used,  2058960 buff/cache
    KiB Swap:        0 total,        0 free,        0 used.  2621556 avail Mem 
    
      PID USER      PR  NI    VIRT    RES    SHR S  %CPU %MEM     TIME+ COMMAND                                                         
     8416 root      20   0 3543440 2.385g   9864 S  29.3 31.2   6:52.62 mongod

    或者 先top后,然后 shift+m 把当前进场按占用内存的多少排序。看看你的mongodb能占用多少内存。 

    平时可以通过mongo命令行来监控MongoDB的内存使用情况,如下所示:

    MongoDB Enterprise > db.serverStatus().mem;
    {
            "bits" : 64,
            "resident" : 2588,
            "virtual" : 3612,
            "supported" : true,
            "mapped" : 0,
            "mappedWithJournal" : 0
    }

    还可以通过mongostat命令来监控MongoDB的内存使用情况,如下所示:

    [root@mongodb ~]# mongostat  --authenticationDatabase=admin
    insert query update delete getmore command dirty  used flushes vsize   res qrw arw net_in net_out conn                time
      1636    *0     *0     *0       0     4|0  8.0% 80.1%       0 3.53G 2.53G 0|0 1|0   452k    105k   13 Jul 16 10:42:39.357
      1620    *0     *0     *0       0     3|0  8.0% 80.1%       0 3.53G 2.53G 0|0 1|0   450k    103k   13 Jul 16 10:42:40.358
      1671    *0     *0     *0       0     1|0  7.9% 80.0%       0 3.53G 2.53G 0|0 1|0   460k    103k   13 Jul 16 10:42:41.358
      1630    *0     *0     *0       0     2|0  8.1% 80.0%       0 3.53G 2.53G 0|0 1|0   450k    103k   13 Jul 16 10:42:42.356
      1626    *0     *0     *0       0     1|0  7.9% 79.9%       0 3.53G 2.53G 0|0 1|0   451k    103k   13 Jul 16 10:42:43.356

    其中内存相关字段的含义是: 
    mapped:映射到内存的数据大小 
    visze:占用的虚拟内存大小 
    res:实际使用的内存大小 
    注:如果操作不能再内存中完成,结果faults列的数值不会是0,视大小可能有性能问题。

    vsize是mapped的两倍,而mapped等于数据文件的大小,所以说vsize是数据文件的两倍,之所以会这样,是因为本例中,MongoDB开启了journal,需要在内存里多映射一次数据文件,如果关闭journal,则vsize和mapped大致相当。 

    如果想验证这一点,可以在开启或关闭journal后,通过pmap命令来观察文件映射情况: 

    [root@mongodb ~]# pmap $(pidof mongod) 
    8416:   /usr/local/mongodb/bin/mongod --config=/usr/local/mongodb/mongodb.conf
    00001190f3743000 655360K -----   [ anon ]
    00007f467c968000      4K -----   [ anon ]
    00007f467c969000   1024K rw---   [ anon ]
    00007f467ca69000      4K -----   [ anon ]
    00007f467ca6a000   1024K rw---   [ anon ]

    接着咱们分析一下mongodb是怎么使用内存的: 

    目前,MongoDB使用的是内存映射存储引擎,它会把磁盘IO操作转换成内存操作,如果是读操作,内存中的数据起到缓存的作用,如果是写操作,内存还可以把随机的写操作转换成顺序的写操作,总之可以大幅度提升性能。MongoDB并不干涉内存管理工作,而是把这些工作留给操作系统的虚拟缓存管理器去处理,这样的好处是简化了MongoDB的工作,但坏处是你没有方法很方便的控制MongoDB占多大内存,事实上MongoDB会占用所有能用的内存,所以最好不要把别的服务和MongoDB放一起。 

    有时候,即便MongoDB使用的是64位操作系统,也可能会遭遇臭名昭著的OOM问题,出现这种情况,多半是因为限制了虚拟内存的大小所致,可以这样查看当前值: 

    [root@mongodb ~]# ulimit -a | grep 'virtual' 
    virtual memory          (kbytes, -v) unlimited

    多数操作系统缺省都是把它设置成unlimited的,如果你的操作系统不是,可以这样修改: 

    [root@mongodb ~]# ulimit -v unlimited 

    不过要注意的是,ulimit的使用是有上下文的,最好放在MongoDB的启动脚本里。 

    到底MongoDB配备多大内存合适?宽泛点来说,多多益善,如果要确切点来说,这实际取决于你的数据及索引的大小,内存如果能够装下全部数据加索引是最佳情况,不过很多时候,数据都会比内存大,比如本文说涉及的MongoDB实例: 

    MongoDB Enterprise > db.stats();
    {
    "db" : "loc",
    "collections" : 2,
    "views" : 0,
    "objects" : 1335266749,
    "avgObjSize" : 230.06233968311003,
    "dataSize" : 307194592376,
    "storageSize" : 225892519936,
    "numExtents" : 0,
    "indexes" : 2,
    "indexSize" : 63411568640,
    "fsUsedSize" : 338585542656,
    "fsTotalSize" : 845376524288,
    "ok" : 1
    }

    索引只有1G多,内存完全能装下,而数据文件则达到了1T,估计很难找到这么大内存,此时保证内存能装下热数据即可,至于热数据有多少,这就是个比例问题了,取决于具体的应用。如此一来内存大小就明确了:内存 > 索引 + 热数据。 

    3.解决方法,操作步骤如下:

      (1)限制内存: sysctl -w vm.swappiness=0

      (2)调整内核参数drop_caches释放缓存: 
      # sysctl -w vm.drop_caches=1 

      # echo 3 > /proc/sys/vm/drop_caches

      (3)在Mongodb对应的config中改如下参数:

    storage:
      #dbPath: /var/lib/mongo
      dbPath: /home/mongodb/rs/data
      journal:
        enabled: true
      directoryPerDB: true
      engine: wiredTiger
    #  mmapv1:
      wiredTiger:
         engineConfig:
            cacheSizeGB: 5
    #这个数字是你设置的limit x 60% - 1G,最小1G。

    修改配置后重启mongo,以后内存占用就不会自动上升了。

    根据以上的分析我们可以得出几点结论: 
    1. mongodb 直接用操作系统的内存管理器来管理内存。而操作系统采用的是LRU算法淘汰冷数据。 
    2. mongodb可以用重启服务、调整内核参数以及调整配置mongodb清理mongodb对内存的缓存。可能存在的问题是:这几种清理方式都是全部清理,这样的话mongodb的内存缓存就失效了。 
    3. mongodb 对内存的使用是可以被监控的,在生产环境中要定时的去监控这些数据。 
    4. mongodb 对内存这种占用方式使其尽量的和其他占用内存的业务分开部署,例如memcahe,sphinx,mysql等。 
    5. 操作系统中的交换分区swap 如果操作频繁的话,会严重降低系统效率。要解决可以禁用交换分区,以及增加内存以及做分布式。 
    6.  生产环境中mongodb所在的主机应该尽量的大内存。 

     参考:

    https://blog.csdn.net/a799645820/article/details/81239652

    https://www.cnblogs.com/luo-mao/p/5872388.html

  • 相关阅读:
    VS和IE或者360兼容模式简单调试js方法
    sqlserver2008自动备份,自动删除较早的别分文件
    EasyUI合并行
    sqlserver导入excel的电话号码(身份证)变为科学计数解决方式
    文本框灰色文字提示,鼠标点击文字消失
    Asp.net MVC 中Controller返回值类型ActionResult
    SQL中CONVERT()转化函数的用法 字符串转日期
    死锁的简单实现
    生产者消费者问题
    [leecode]Implement strStr()
  • 原文地址:https://www.cnblogs.com/sfnz/p/15019281.html
Copyright © 2011-2022 走看看