目录
1. 内存使用情况分析 2. 内存泄漏(memory leak) 3. Valgrind使用
1. 内存使用情况分析
0x1: 系统总内存的分析
可以从proc目录下的meminfo文件了解到当前系统内存的使用情况汇总，其中
可用的物理内存 = memfree + buffers + cached
当memfree不够时，内核会通过回写机制(pdflush线程)把cached和buffered内存回写到后备存储器，从而释放相关内存供进程使用，或者通过手动方式显式释放cache内存：
echo 3 > /proc/sys/vm/drop_caches
$cat /proc/meminfo MemTotal: 8388608 kB MemFree: 6880760 kB Buffers: 0 kB Cached: 1490828 kB SwapCached: 0 kB Active: 1224960 kB Inactive: 282832 kB Active(anon): 17028 kB Inactive(anon): 348 kB Active(file): 1207932 kB Inactive(file): 282484 kB Unevictable: 0 kB Mlocked: 4884 kB SwapTotal: 1999864 kB SwapFree: 1999864 kB Dirty: 596 kB Writeback: 0 kB AnonPages: 202420 kB Mapped: 37400 kB Shmem: 4736 kB Slab: 1937380 kB SReclaimable: 1739632 kB SUnreclaim: 197748 kB KernelStack: 15920 kB PageTables: 30188 kB NFS_Unstable: 0 kB Bounce: 0 kB WritebackTmp: 0 kB CommitLimit: 51319712 kB Committed_AS: 13594600 kB VmallocTotal: 34359738367 kB VmallocUsed: 662532 kB VmallocChunk: 34359070640 kB HardwareCorrupted: 0 kB AnonHugePages: 0 kB HugePages_Total: 0 HugePages_Free: 0 HugePages_Rsvd: 0 HugePages_Surp: 0 Hugepagesize: 2048 kB DirectMap4k: 4096 kB DirectMap2M: 2076672 kB DirectMap1G: 98566144 kB
0x2: 进程使用内存统计
在32位操作系统中，每个进程拥有4G的虚拟内存空间，其中0~3GB是每个进程的私有用户空间，这个空间对系统中其他进程是不可见的。3~4GB是linux内核空间，由系统所有的进程以及内核所共享的。通过访问/proc/{pid}/下相关文件，可以了解每个线程(进程)虚拟内存空间的使用情况，从而了解每个线程(进程)所消耗内存的多少
可以通过查看/proc/{pid}/maps文件来获取相关的虚拟地址空间内容
sudo cat /proc/1417/maps 2b4494635000-2b449463b000 r-xp 00000000 03:01 819306 /sbin/klogd 2b449463b000-2b449463c000 rw-p 2b449463b000 00:00 0 2b449483b000-2b449483c000 rw-p 00006000 03:01 819306 /sbin/klogd 2b449483c000-2b449483d000 rw-p 2b449483c000 00:00 0 2b449483d000-2b4494859000 r-xp 00000000 03:01 409674 /lib64/ld-2.5.so 2b4494859000-2b449485b000 rw-p 2b4494859000 00:00 0 2b4494a59000-2b4494a5a000 r--p 0001c000 03:01 409674 /lib64/ld-2.5.so 2b4494a5a000-2b4494a5b000 rw-p 0001d000 03:01 409674 /lib64/ld-2.5.so 2b4494a5b000-2b4494ba9000 r-xp 00000000 03:01 409683 /lib64/libc-2.5.so 2b4494ba9000-2b4494da9000 ---p 0014e000 03:01 409683 /lib64/libc-2.5.so 2b4494da9000-2b4494dad000 r--p 0014e000 03:01 409683 /lib64/libc-2.5.so 2b4494dad000-2b4494dae000 rw-p 00152000 03:01 409683 /lib64/libc-2.5.so 2b4494dae000-2b4494db4000 rw-p 2b4494dae000 00:00 0 2b44adeca000-2b44adeeb000 rw-p 2b44adeca000 00:00 0 [heap] 7fff58134000-7fff58149000 rw-p 7ffffffe9000 00:00 0 [stack] 7fff58162000-7fff58165000 r-xp 7fff58162000 00:00 0 [vdso] ffffffffff600000-ffffffffffe00000 ---p 00000000 00:00 0 [vsyscall]
当进程申请内存时，实际上是glibc中内置的内存管理器接收了该请求，随着进程申请内存的增加，内存管理器会通过系统调用陷入内核，从而为进程分配更多的内存
针对堆段的管理，内核提供了两个系统调用brk和mmap，brk用于更改堆顶地址，而mmap则为进程分配一块虚拟地址空间
当进程向glibc申请内存时，如果申请内存的数量大于一个阀值的时候，glibc会采用mmap为进程分配一块虚拟地址空间，而不是采用brk来扩展堆顶的指针。缺省情况下，此阀值是128K，可以通过函数来修改此值
如果在实际的调试过程中，怀疑某处发生了内存泄露，可以查看该进程的maps表，看进程的堆段或者mmap段的虚拟地址空间是否持续增加，如果是，说明很可能发生了内存泄露，如果mmap段虚拟地址空间持续增加，还可以看到各个段的虚拟地址空间的大小，从而可以确定是申请了多大的内存，对调试内存泄露类问题可以起到很好的定位作用
Relevant Link:
http://os.51cto.com/art/201304/388070.htm
2. 内存泄漏(memory leak)
内存泄漏(memory leak)，指由于疏忽或错误造成程序未能释放已经不再使用的内存的情况
在编程时进行动态内存分配是非常必要的，它可以在程序运行的过程中帮助分配所需的内存，而不是在进程启动的时候就进行分配。然而有效地管理这些内存同样也是非常重要的
在大型的、复杂的应用程序中，内存泄漏是常见的问题，当以前分配的一片内存不再需要使用或无法访问时，但是却并没有释放它，那么对于该进程来说，会因此导致总可用内存的减少，这时就出现了内存泄漏
0x1: 内存泄漏的发生方式
1. 常发性内存泄漏
发生内存泄漏的代码会被多次执行到，每次被执行的时候都会导致一块内存泄漏
2. 偶发性内存泄漏
发生内存泄漏的代码只有在某些特定环境或操作过程下才会发生。常发性和偶发性是相对的。对于特定的环境，偶发性的也许就变成了常发性的。所以测试环境和测试方法对检测内存泄漏至关重要
3. 一次性内存泄漏
发生内存泄漏的代码只会被执行一次，或者由于算法上的缺陷，导致总会有一块且仅有一块内存发生泄漏
4. 隐式内存泄漏
程序在运行过程中不停的分配内存，但是直到结束的时候才释放内存。严格的说这里并没有发生内存泄漏，因为最终程序释放了所有申请的内存。但是对于一个服务器程序，需要运行几天，几周甚至几个月，不及时释放内存也可能导致最终耗尽系统的所有内存。所以，我们称这类内存泄漏为隐式内存泄漏
0x2: 常用内存泄漏检测工具
C/C++ 1. Valgrind: Debugging and profiling Linux programs, aiming at programs written in C and C++ 2. ccmalloc: Linux和Solaris下对C和C++程序的简单的使用内存泄漏和malloc调试库 3. LeakTracer: Linux、Solaris和HP-UX下跟踪和分析C++程序中的内存泄漏 4. Electric Fence: Linux分发版中由Bruce Perens编写的malloc()调试库 5. Leaky: Linux下检测内存泄漏的程序 6. Dmalloc: Debug Malloc Library 7. MEMWATCH: 由Johan Lindh编写，是一个开放源代码C语言内存错误检测工具，主要是通过gcc的precessor来进行 8. KCachegrind: A visualization tool for the profiling data generated by Cachegrind and Calltree Java 1. Memory Analyzer: 是一款开源的JAVA内存分析软件，查找内存泄漏，能容易找到大块内存并验证谁在一直占用它，它是基于Eclipse RCP(Rich Client Platform)，可以下载RCP的独立版本或者Eclipse的插件 2. JProbe: 分析Java的内存泄漏 3. JProfiler: 一个全功能的Java剖析工具，专用于分析J2SE和J2EE应用程序。它把CPU、执行绪和内存的剖析组合在一个强大的应用中，GUI可以找到效能瓶颈、抓出内存泄漏、并解决执行绪的问题 4. JRockit: 用来诊断Java内存泄漏并指出根本原因，专门针对Intel平台并得到优化，能在Intel硬件上获得最高的性能 5. YourKit .NET & Java Profiling: 业界领先的Java和.NET程序性能分析工具 6. AutomatedQA: AutomatedQA的获奖产品performance profiling和memory debugging工具集的下一代替换产品，支持Microsoft, Borland, Intel, Compaq 和 GNU编译器。可以为.NET和Windows程序生成全面细致的报告，从而帮助您轻松隔离并排除代码中含有的性能问题和内存/资源泄露问题。支持.Net 1.0,1.1,2.0,3.0和Windows 32/64位应用程序 7. Compuware DevPartner Java Edition: 包含Java内存检测，代码覆盖率测试，代码性能测试，线程死锁，分布式应用等几大功能模块 .NET 1. .NET Memory Profiler: 找到内存泄漏并优化内存使用针对C#，VB.Net，或其它.Net程序 2. Windows Leaks Detector: 探测任何Win32应用程序中的任何资源泄漏(内存，句柄等)，基于Win API调用钩子 3. DTrace: 一款开源动态跟踪Dynamic Tracing，能在Unix类似平台运行，用户能够动态检测操作系统内核和用户进程，以更精确地掌握系统的资源使用状况，提高系统性能，减少支持成本，并进行有效的调节 4. IBM Rational PurifyPlus: 帮助开发人员查明C/C++、托管.NET、Java和VB6代码中的性能和可靠性错误。PurifyPlus 将内存错误和泄漏检测、应用程序性能描述、代码覆盖分析等功能组合在一个单一、完整的工具包中 5. Parasoft Insure++: 针对C/C++应用的运行时错误自动检测工具，它能够自动监测C/C++程序，发现其中存在着的内存破坏、内存泄漏、指针错误和I/O等错误。并通过使用一系列独特的技术(SCI技术和变异测试等)，彻底的检查和测试我们的代码，精确定位错误的准确位置并给出详细的诊断信息。能作为Microsoft Visual C++的一个插件运行 6. Compuware DevPartner for Visual C++ BoundsChecker Suite: 为C++开发者设计的运行错误检测和调试工具软件。作为Microsoft Visual Studio和C++ 6.0的一个插件运行 7. Electric Software GlowCode: 包括内存泄漏检查，code profiler，函数调用跟踪等功能。给C++和.Net开发者提供完整的错误诊断，和运行时性能分析工具包 FireFox / IE 1. Leak Monitor: 一个Firefox扩展，能找出跟Firefox相关的泄漏类型 2. IE Leak Detector (Drip/IE Sieve): Drip和IE Sieve leak detectors帮助网页开发员提升动态网页性能通过报告可避免的因为IE局限的内存泄漏。 3. JavaScript Memory Leak Detector: 微软全球产品开发欧洲团队(Global Product Development- Europe team, GPDE) 发布的一款调试工具，用来探测JavaScript代码中的内存泄漏，运行为IE系列的一个插件
0x3: 内存检查原理
Memcheck检测内存问题的原理如下图所示
Memcheck 能够检测出内存问题，关键在于其建立了两个全局表
1. Valid-Value表
对于进程的整个地址空间中的每一个字节(byte)，都有与之对应的 8 个 bits；对于 CPU 的每个寄存器，也有一个与之对应的 bit 向量。这些 bits 负责记录该字节或者寄存器值是否具有有效的、已初始化的值
2. Valid-Address表
对于进程整个地址空间中的每一个字节(byte)，还有与之对应的 1 个 bit，负责记录该地址是否能够被读写
检测原理
1. 当要读写内存中某个字节时，首先检查这个字节对应的 A bit(Valid-Adress Map)。如果该A bit显示该位置是无效位置，memcheck 则报告读写错误 2. 内核(core)类似于一个虚拟的 CPU 环境，这样当内存中的某个字节被加载到真实的 CPU 中时，该字节对应的 V bit(Valid-Value Map) 也被加载到虚拟的 CPU 环境中。一旦寄存器中的值，被用来产生内存地址，或者该值能够影响程序输出，则 memcheck 会检查对应的V bits，如果该值尚未初始化，则会报告使用未初始化内存错误
Relevant Link:
http://blog.csdn.net/ithomer/article/details/6928318 http://www.ibm.com/developerworks/cn/linux/l-cn-valgrind/
3. Valgrind使用
Valgrind是一套Linux下，开放源代码(GPL V2)的仿真调试工具的集合。Valgrind由内核(core)以及基于内核的其他调试工具组成。内核类似于一个框架(framework)，它模拟了一个CPU环境，并提供服务给其他工具: 而其他工具则类似于插件(plug-in)，利用内核提供的服务完成各种特定的内存调试任务
Valgrind包括如下一些工具
1. Memcheck 这是valgrind应用最广泛的工具，一个重量级的内存检查器，能够发现开发中绝大多数内存错误使用情况，比如：使用未初始化的内存，使用已经释放了的内存，内存访问越界等。这也是本文将重点介绍的部分，Valgrind 中包含的 Memcheck 工具可以检查以下的程序错误 1) 使用未初始化的内存 (Use of uninitialised memory) 2) 使用已经释放了的内存 (Reading/writing memory after it has been free’d) 3) 使用超过malloc分配的内存空间(Reading/writing off the end of malloc’d blocks) 4) 对堆栈的非法访问 (Reading/writing inappropriate areas on the stack) 5) 申请的空间是否有释放 (Memory leaks – where pointers to malloc’d blocks are lost forever) 6) malloc/free/new/delete申请和释放内存的匹配(Mismatched use of malloc/new/new [] vs free/delete/delete []) 7) src和dst的重叠(Overlapping src and dst pointers in memcpy() and related functions) 8) 重复free 2. Callgrind 它主要用来检查程序中函数调用过程中出现的问题 3. Cachegrind 它主要用来检查程序中缓存使用出现的问题 4. Helgrind 它主要用来检查多线程程序中出现的竞争问题 5. Massif 它主要用来检查程序中堆栈使用中出现的问题 6. Extension 可以利用core提供的功能，自己编写特定的内存调试工具
0x1: 编译安装
wget http://valgrind.org/downloads/valgrind-3.4.1.tar.bz2 tar xvf valgrind-3.4.1.tar.bz2 cd valgrind-3.4.1/ ./configure --prefix/home/zhenghan.zh/valgrind make make install
0x2: 检测使用
为了使valgrind发现的错误更精确，如能够定位到源代码行，建议在编译时加上-g参数，编译优化选项请选择O0，虽然这会降低程序的执行效率
#include <stdlib.h> void fun() { int *p = (int*)malloc(10 * sizeof(int)); //内存越界写入 p[10] = 0; } int main(int argc, char* argv[]) { fun(); return 0; } //gcc –g –O0 sample.c –o sample
运行valgrind
/home/zhenghan.zh/valgrind/bin/valgrind --tool=memcheck --leak-check=full /home/zhenghan.zh/memcheck/sample
/home/zhenghan.zh/valgrind/bin/valgrind /home/zhenghan.zh/memcheck/sample
Relevant Link:
http://zyan.cc/post/419/ http://www.ibm.com/developerworks/cn/linux/l-cn-valgrind/
Copyright (c) 2014 LittleHann All rights reserved