查线上问题：
1、cpu idle 为0 ，I/O高，
pidstat 发现进程io 不高，那就是cache mem引起系统io高了
没有vmstat，只能使用sar工具了，使用sar -r 查看buddyinfo 发现内存碎片化严重。同时drop_cache值为3一直在释放cache ，
eg：对文件系统大量的随机读写，page cache 上涨，内存吃紧，page cache 不断换入换出，磁盘瓶颈，CPU 高，属于一种情况 ；设置drop_cache值为1；
另外一种类似的情况是reclaimable slab objects 占用高（dentries，inodes；可以设置drop_cache值为2 释放
To free pagecache: echo 1 > /proc/sys/vm/drop_caches To free reclaimable slab objects (includes dentries and inodes): echo 2 > /proc/sys/vm/drop_caches To free slab objects and pagecache: echo 3 > /proc/sys/vm/drop_caches
echo 写入之后，值不会变，怎么办？会不会一直在drop？----不会，所以可以在内核代码里面加一个timer 定时释放
注意: * iostat 工具提供CPU使用率及硬盘吞吐效率的数据；
* mpstat 工具提供单个处理器或多个处理器相关数据；
* sar 工具负责收集、报告并存储系统活跃的信息；
sar 工具的使用
-A 显示所有历史数据，通过读取/var/log/sar 目录下的所有文件，并把它们分门别类的显示出来；
-b 通过设备的I/O中断读取设置的吞吐率；
-B 报告内存或虚拟内存交换统计；
-c 报告每秒创建的进程数；
-d 报告物理块设备（存储设备）的写入、读取之类的信息，如果直观一点，可以和p参数共同使用，-dp
-f 从一个二进制的数据文件中读取内容，比如 sar -f filename
-i interval 指定数据收集的时间，时间单位是秒；
-n 分析网络设备状态的统计，后面可以接的参数有 DEV、EDEV、NFS、NFSD、SOCK等。比如-n DEV
-o 把统计信息写入一个文件，比如 -o filename ；
-P 报告每个处理器应用统计，用于多处理器机器，并且启用SMP内核才有效；
-p 显示友好设备名字，以方便查看，也可以和-d 和-n 参数结合使用，比如 -dp 或-np
-r 内存和交换区占用统计；
-R
-t 这个选项对从文件读取数据有用，如果没有这个参数，会以本地时间为标准 读出；
-u 报告CPU利用率的参数；
-v 报告inode, 文件或其它内核表的资源占用信息；
-w 报告系统交换活动的信息； 每少交换数据的个数；
-W 报告系统交换活动吞吐信息；
-x 用于监视进程的，在其后要指定进程的PID值；
-X 用于监视进程的，但指定的应该是一个子进程ID；
/var/tmp/debug_bin #free -m total used free shared buffers Mem: 238532 163460 75072 0 3752 -/+ buffers: 159708 78824 Swap: 0 0 0 ----------------- nux 3.6.5-Broadcom Linux ((none)) 03/27/20 _armv7l_ (1 CPU) 10:04:39 kbmemfree kbavail kbmemused %memused kbbuffers kbcached kbcommit %commit kbactive kbinact kbdirty 10:04:41 71696 0 116268 48.74 4444 33156 276800 116.04 85288 15052 0 10:04:43 72776 0 116248 48.73 4564 31976 276800 116.04 85280 13980 0 10:04:45 73976 0 116228 48.73 4456 30908 276800 116.04 85332 12744 0 Average: 72816 0 116248 48.73 4488 32013 276800 116.04 85300 13925 0 /var/tmp/debug_bin #sar -u 2 3 Linux 3.6.5-Broadcom Linux ((none)) 03/27/20 _armv7l_ (1 CPU) 10:13:45 CPU %user %nice %system %iowait %steal %idle 10:13:47 all 1.98 0.00 0.50 97.52 0.00 0.00 10:13:49 all 16.42 0.00 2.49 81.09 0.00 0.00 10:13:51 all 8.46 0.00 2.49 89.05 0.00 0.00 Average: all 8.94 0.00 1.82 89.24 0.00 0.00 /var/tmp/debug_bin #sar -d -p 2 2 Linux 3.6.5-Broadcom Linux ((none)) 03/27/20 _armv7l_ (1 CPU) 10:14:57 DEV tps rkB/s wkB/s dkB/s areq-sz aqu-sz await %util 10:14:59 mtdblock3 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 10:15:01 mtdblock3 0.50 33.66 0.00 0.00 68.00 0.09 20.00 6.93 Average: mtdblock3 0.25 16.87 0.00 0.00 68.00 0.04 20.00 3.47 /var/tmp/debug_bin #sar -d -p 2 4 Linux 3.6.5-Broadcom Linux ((none)) 03/27/20 _armv7l_ (1 CPU) 10:15:10 DEV tps rkB/s wkB/s dkB/s areq-sz aqu-sz await %util 10:15:12 mtdblock3 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 10:15:14 mtdblock3 0.00 21.89 0.00 0.00 0.00 0.17 0.00 3.48 10:15:16 mtdblock3 3.96 134.65 0.00 0.00 34.00 0.67 213.75 21.78 10:15:18 mtdblock3 4.98 179.10 0.00 0.00 36.00 1.21 234.00 44.78 Average: mtdblock3 2.24 83.98 0.00 0.00 37.56 0.51 225.00 17.52
/var/tmp/debug_bin #pidstat -d 2 2 Linux 3.6.5-Broadcom Linux ((none)) 03/27/20 _armv7l_ (1 CPU) 10:22:56 UID PID kB_rd/s kB_wr/s kB_ccwr/s iodelay Command 10:22:58 UID PID kB_rd/s kB_wr/s kB_ccwr/s iodelay Command Average: UID PID kB_rd/s kB_wr/s kB_ccwr/s iodelay Command #sar -d 1 3 Linux 3.6.5-Broadcom Linux ((none)) 03/27/20 _armv7l_ (1 CPU) 10:24:09 DEV tps rkB/s wkB/s dkB/s areq-sz aqu-sz await %util 10:24:10 dev31-3 4.04 235.35 0.00 0.00 58.25 0.77 362.50 52.53 10:24:11 dev31-3 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 10:24:12 dev31-3 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 Average: dev31-3 1.32 77.15 0.00 0.00 58.25 0.25 362.50 17.22
Top：
Mem: 152892K used, 85640K free, 0K shrd, 400K buff, 23568K cached CPU: 15% usr 1% sys 0% nic 0% idle 81% io 0% irq 0% sirq Load average: 2.61 3.16 3.16 1/122 3289 PID PPID USER STAT VSZ %VSZ %CPU COMMAND
Ps：
S UID PID PPID VSZ RSS TTY STIME TIME CMD
S 0 1 0 848 12 0:0 Mar20 00:00:07 /bin/busybox init
S 0 2 0 0 0 0:0 Mar20 00:00:00 [kthreadd]
S 0 3 2 0 0 0:0 Mar20 00:00:29 [ksoftirqd/0]
S 0 5 2 0 0 0:0 Mar20 00:00:00 [kworker/0:0H]
S 0 6 2 0 0 0:0 Mar20 00:00:00 [kworker/u:0]
S 0 7 2 0 0 0:0 Mar20 00:00:00 [kworker/u:0H]
S 0 8 2 0 0 0:0 Mar20 00:00:00 [migration/0]
（注意top中的vsz rss意义；
VSZ：virtual memory size of the process in KiB (1024-byte units). Device mappings are currently excluded; this is subject
to change. (alias vsize).虚拟内存，
RSS：是常驻内存的大小，也就是进程实际使用的物理内存大小，但不包括 Swap 和共享内存。）
结果：查看buddyinfo 有但是无大块， pid进程io不高，但是系统i.o高------> cachemem 原因了
eg：顺便说一下虚拟内存空间分布
通过这张图你可以看到，用户空间内存，从低到高分别是五种不同的内存段。
只读段，包括代码和常量等。
数据段，包括全局变量等。
堆，包括动态分配的内存，从低地址开始向上增长。
文件映射段，包括动态库、共享内存等，从高地址开始向下增长。
栈，包括局部变量和函数调用的上下文等。栈的大小是固定的，一般是 8 MB
在这五个内存段中，堆和文件映射段的内存是动态分配的。比如说，使用 C 标准库的 malloc() 或者 mmap() ，就可以分别在堆和文件映射段动态分配内存；
内存分配与回收malloc() 是 C 标准库提供的内存分配函数，对应到系统调用上，有两种实现方式，即 brk() 和 mmap()。对小块内存（小于 128K），C 标准库使用 brk() 来分配，也就是通过移动堆顶的位置来分配内存。这些内存释放后并不会立刻归还系统，而是被缓存起来，这样就可以重复使用。而大块内存（大于 128K），则直接使用内存映射 mmap() 来分配，也就是在文件映射段找一块空闲内存分配出去。
这两种方式，自然各有优缺点。brk() 方式的缓存，可以减少缺页异常的发生，提高内存访问效率。不过，由于这些内存没有归还系统，在内存工作繁忙时，频繁的内存分配和释放会造成内存碎片。
而 mmap() 方式分配的内存，会在释放时直接归还系统，所以每次 mmap 都会发生缺页异常。在内存工作繁忙时，频繁的内存分配会导致大量的缺页异常，使内核的管理负担增大。这也是 malloc 只对大块内存使用 mmap 的原因。
在发现内存紧张时，系统就会通过一系列机制来回收内存，比如下面这三种方式：
回收缓存，比如使用 LRU（Least Recently Used）算法，回收最近使用最少的内存页面；
回收不常访问的内存，把不常用的内存通过交换分区直接写到磁盘中；
杀死进程，内存紧张时系统还会通过 OOM（Out of Memory），直接杀掉占用大量内存的进程。
Swap 其实就是把一块磁盘空间当成内存来用。它可以把进程暂时不用的数据存储到磁盘中（这个过程称为换出），当进程访问这些内存时，再从磁盘读取这些数据到内存中。所以，你可以发现，Swap 把系统的可用内存变大了。不过要注意，通常只在内存不足时，才会发生 Swap 交换。并且由于磁盘读写的速度远比内存慢，Swap 会导致严重的内存性能问题。
目前一般讲软够守护进程设置为禁止oom ：通过 /proc 文件系统，手动设置进程的 oom_adj ，从而调整进程的 oom_score。oom_adj 的范围是 [-17, 15]，数值越大，表示进程越容易被 OOM 杀死；数值越小，表示进程越不容易被 OOM 杀死，其中 -17 表示禁止 OOM。
对free/top 中出现的buffer以及cache：
free Unused memory (MemFree and SwapFree in /proc/meminfo)
shared ：Memory used (mostly) by tmpfs (Shmem in /proc/meminfo, available on kernels 2.6.32, displayed as zero if not available)
buffers：Memory used by kernel buffers (Buffers in /proc/meminfo):Buffers 是内核缓冲区用到的内存，对应的是 /proc/meminfo 中的 Buffers 值
cache ：Memory used by the page cache and slabs (Cached and Slab in /proc/meminfo)Cache 是内核页缓存和 Slab 用到的内存，对应的是 /proc/meminfo 中的 Cached 与 SReclaimable 之和。
man proc可以看到如下信息
Buffers %lu:Relatively temporary storage for raw disk blocks that shouldn't get tremendously large (20MB or so).-----> 写磁盘用到Buffer??
Cached %lu:In-memory cache for files read from the disk (the page cache). Doesn't include SwapCached.Cached 是从磁盘读取文件的页缓存，也就是用来缓存从文件读取的数据。这样，下次访问这些文件数据时，就可以直接从内存中快速获取，而不需要再次访问缓慢的磁盘------>Cache 是对从文件读取数据的缓存?????
buffer/cache：
Buffer 既可以用作“将要写入磁盘数据的缓存”，也可以用作“从磁盘读取数据的缓存”。
Cache 既可以用作“从文件读取数据的页缓存”，也可以用作“写文件的页缓存”。------应该是这样的
dd if=/tmp/file of=/dev/null dd if=/dev/sda3 of=/dev/null bs=1M count=200 测试