zoukankan      html  css  js  c++  java
  • Linux进程内存分析和内存泄漏定位

    在Linux产品开发过程中,通常需要注意系统内存使用量,和评估单一进程的内存使用情况,便于我们选取合适的机器配置,来部署我们的产品。

    Linux本身提供了一些工具方便我们达成这些需求,查看进程实时资源top工具,更详细的进程内存堆栈情况,pmap工具,Linux进程运行时状态信息也会保存在proc目录下,相应进程ID目录下,这里有很丰富的信息,先讨论进程内存。

           借助网上大部分人的说法,Linux系统在内存分配上:内存充足时,尽量使用内存来缓存一些文件,从而加快进程的运行速度,而当内存不足时,会通过相应的内存回收策略收回cache内存,供进程使用。

    虽然在Linux平台下做开发,但是对Linux内存管理并不熟悉,不过上述说法,可以通过下面的方法来验证:

    一、系统内存。

    在proc目录下的meminfo文件描述系统内存的使用情况,可用的物理内存=memfree+buffers+cached,下图是suse10 的情况:

    MemTotal 是全部物理内存,我的虚拟器配置的是1G内存,memfree+buffers+cached = 438752,大概还有430M可用,因为我的机器上只跑着apache和redis进程。

    当memfree不够时,内核会通过回写机制(pdflush线程)把cached和buffered内存回写到后备存储器,也可以通过手动方式显式释放cache内存

           echo 3 > /proc/sys/vm/drop_caches

    释放后,Buffers和Cached 表小了好多,MemFree变大了许多,memfree+buffers+cached三者和大约仍然是430M。

    二、进程内存

    在32位操作系统中,每个进程拥有4G的虚拟内存空间,其中0~3GB是每个进程的私有用户空间,这个空间对系统中其他进程是不可见的。3~4GB是linux内核空间,由系统所有的进程以及内核所共享的。通过访问/proc/{pid}/下相关文件,可以查看进程内存情况。

    如果进程内含有多个线程,多个线程共享一个进程的用户态虚拟地址空间,虚拟地址空间包含若干区域,主要有如下几个区域:

    1、当前执行文件的代码段,该代码段称为text段。

    2、执行文件的数据段,主要存储执行文件用到的全局变量,静态变量。(全局和static)

    3、存储全局变量和动态产生的数据的堆。(堆)

    4、用于保存局部变量和实现函数调用的栈。(栈)

    5、采用mmap方式映射到虚拟地址空间中的内存段

    这是我的机器上,redis 进程的情况,

    第一行:从r-xp可知其权限为只读、可执行,该段内存地址对应于执行文件的

    代码段,程序的代码段需加载到内存中才可以执行。由于其只读,不会

    被修改,所以在整个系统内共享。

    第二行:从rw-p可知其权限为可读写,不可执行,该段内存地址对应于执行文件的数据段,存放执行文件所用到的全局变量、静态变量。

    第三行:从rwxp可知其权限是可读写,可执行,地址空间向上增长,而且不对应文件,是堆段,进程使用malloc申请的内存放在堆段。每个进程只有一个堆段,不论是主进程,还是不同的线程申请的内存,都反映到到进程的堆段。堆段向上增长,最大可以增长到1GB的位置,即0x40000000,如果大于1GB,glibc将采用mmap的方式,为堆申请一块内存。

    第四行:是程序连接的共享库的内存地址。

    第五行:是以mmap方式映射的虚拟地址空间。

    第六、七行:是线程的栈区地址段,每个线程的栈大小都是16K。

    第八行:是进程的栈区。关于栈段,每个线程都有一个,如果进程中有多个线程,则包含多个栈段。

    三、当前系统总内存的统计

        1、进程占用的总内存可以通过上述maps表计算出来。

        2、当系统运行起来以后,会把应用层相关的文件挂载到tmpfs文件系统下,海思系统下这部分大概有13M左右,这部分内存是以cache方式统计出来的,但是这部分内存cache无法通过回收策略或者显式的调用释放掉。

        3、根文件系统ramdisk占用的内存。

        4、当前系统保留内存的大小,可以通过查看/proc/sys/vm/min_free_kbytes来获取或者修改此内存的大小。

        5、当然,当系统运行起来后,还应该留有一定的内存用于在硬盘读写时做cache或者网络负荷比较高时分配skb等,一般需要30M以上。

    四、对调试内存泄露类问题的一些启示

       当进程申请内存时,实际上是glibc中内置的内存管理器接收了该请求,随着进程申请内存的增加,内存管理器会通过系统调用陷入内核,从而为进程分配更多的内存。

    针对堆段的管理,内核提供了两个系统调用brk和mmap,brk用于更改堆顶地址,而mmap则为进程分配一块虚拟地址空间。

    当进程向glibc申请内存时,如果申请内存的数量大于一个阀值的时候,glibc会采用mmap为进程分配一块虚拟地址空间,而不是采用brk来扩展堆顶的指针。缺省情况下,此阀值是128K,可以通过函数来修改此值。

                 #include<malloc.h>

                 Intmallopt(int param, int value)

    Param的取值分别为M_MMAP_THRESHOLD、M_MMAP_MAX。

    Value的取值是以字节为单位的。

    M_MMAP_THRESHOLD是glibc中申请大块内存阀值,大于该阀值的内存申请,内存管理器将使用mmap系统调用申请内存,如果小于该阀值的内存申请,内存管理器使用brk系统调用扩展堆顶指针。

    M_MMAP_MAX是该进程中最多使用mmap分配地址段的数量。

    如果在实际的调试过程中,怀疑某处发生了内存泄露,可以查看该进程的maps表,看进程的堆段或者mmap段的虚拟地址空间是否持续增加,如果是,说明很可能发生了内存泄露,如果mmap段虚拟地址空间持续增加,还可以看到各个段的虚拟地址空间的大小,从而可以确定是申请了多大的内存,对调试内存泄露类问题可以起到很好的定位作用。

    转自:http://blog.csdn.net/babykakaluo/article/details/9763605

  • 相关阅读:
    个人作业——软件产品案例分析
    软件工程结对作业二
    软件工程团队展示
    软件工程第三次作业
    软件工程实践第二次作业
    软件工程实践第一次作业
    第八次课程作业
    第五次课程作业
    第四次课程作业
    wind本地MySQL数据到hive的指定路径
  • 原文地址:https://www.cnblogs.com/yorkyang/p/7738231.html
Copyright © 2011-2022 走看看