zoukankan      html  css  js  c++  java
  • (转)linux内存分析

    原文:http://hi.baidu.com/rushm/item/41fc5b99f71049de7a7f01a9

    我们一开始,先从free命令说起。free 命令相对于top提供了更简洁的查看系统内存使用情况:
    # free
                 total       used       free     shared    buffers     cached
    Mem:       4129428    2830048    1299380          0     208524    1838492
    -/+ buffers/cache:     783032    3346396
    Swap:      4192956          0    4192956
    解释下各个参数的意思:
    Mem:表示物理内存统计
    -/+ buffers/cached:表示物理内存的缓存统计。
    Swap:表示硬盘上交换分区的使用情况,这里我们不去关心。
    系统的总物理内存:4129428(4096MB),但系统当前真正可用的内存并不是第一行free 标记的 2830048,它仅代表未被分配的内存。
    单位为MB的查看方法:
    # free -m
                 total       used       free     shared    buffers     cached
    Mem:          4032       2764       1268          0        203       1795
    -/+ buffers/cache:        765       3267
    Swap:         4094          0       4094
    我们使用totalA、usedA、freeA、usedB、freeB等名称来代表上面统计数据的各值,A和B分别代表第一行和第二行的数据。
    [totalA] 4032:表示物理内存总量。
    [usedA] 2764:表示总计分配给缓存(包含buffers 与cache )使用的数量,但其中可能部分缓存并未实际使用。
    [freeA] 1268:未被分配的内存。
    [sharedA] 0 :共享内存,一般系统不会用到,这里也不讨论。
    [buffersA] 203:系统分配但未被使用的buffers 数量。
    [cachedA] 1795:系统分配但未被使用的cache 数量。buffer 与cache 的区别见后面。
    [usedB] 771:实际使用的buffers 与cache 总量,也是实际使用的内存总量。
    [freeB] 3261:未被使用的buffers 与cache 和未被分配的内存之和,这就是系统当前实际可用内存。
    可以整理出如下等式:
    totalA = usedA + free1
    totalA = used2 + free2
    usedA = buffersA + cachedA + usedB
    freeB = buffersA + cachedA + freeA
    buffer 与cache 的区别
    A buffer is something that has yet to be "written" to disk. A cache is something that has been "read" from the disk and stored for later use.
    对于共享内存(Shared memory),主要用于在UNIX 环境下不同进程之间共享数据,是进程间通信的一种方法,一般的应用程序不会申请使用共享内存,笔者也没有去验证共享内存对上面等式的影响。
    cache 和 buffer的区别:
    Cache:高速缓存,是位于CPU与主内存间的一种容量较小但速度很高的存储器。由于CPU的速度远高于主内存,CPU直接从内存中存取数据要等待一定时间周期,Cache中保存着CPU刚用过或循环使用的一部分数据,当CPU再次使用该部分数据时可从Cache中直接调用,这样就减少了CPU的等待时间,提高了系统的效率。Cache又分为一级Cache(L1 Cache)和二级Cache(L2 Cache),L1 Cache集成在CPU内部,L2 Cache早期一般是焊在主板上,现在也都集成在CPU内部,常见的容量有256KB或512KB L2 Cache。
    Buffer:缓冲区,一个用于存储速度不同步的设备或优先级不同的设备之间传输数据的区域。通过缓冲区,可以使进程之间的相互等待变少,从而使从速度慢的设备读入数据时,速度快的设备的操作进程不发生间断。
       执行free 命令的结果中,used数值偏大,free数值偏小,free的值总是比较小是因为每当操作文件的时候,Linux都会尽可能的把文件缓存到内存里,当再次访问此数据的时候,可以直接从内存中取数据,避免磁盘操作!所以cached的数值非常的大,cache 部分内存是可回收的,操作系统会按照LRU算法淘汰冷数据。buffers也是可回收的,buffers和cache的区别,“Cache和Buffer是两个不同的概念,简单的说,Cache是加速“读”,而buffer是缓冲“写”,前者解决读的问题,保存从磁盘上读出的数据,后者是解决写的问题,保存即将要写入到磁盘上的数据。”
    Free中的buffer和cache:(它们都是占用内存):
    buffer : 作为buffer cache的内存,是块设备的读写缓冲区
    cache: 作为page cache的内存, 文件系统的cache
    如果 cache 的值很大,说明cache住的文件数很多。如果频繁访问到的文件都能被cache住,那么磁盘的读IO 必会非常小。
     
    一、观察内存变化
     我们来看看,如果我执行复制文件,内存会发生什么变化。
    # cp -r /etc ~/test/
    # free -m
    total used free shared buffers cached
    Mem: 249 244 4 0 8 174
    -/+ buffers/cache: 62 187
    Swap: 511 0 511
    在我命令执行结束后,used为244MB,free为4MB,buffers为8MB,cached为174MB,天呐,都被cached吃掉了。别紧张,这是为了提高文件读取效率的做法。
    为了提高磁盘存取效率,Linux做了一些精心的设计,除了对dentry进行缓存(用于VFS,加速文件路径名到inode的转换),还采取了两种主要Cache方式:Buffer Cache和Page Cache。前者针对磁盘块的读写,后者针对文件inode的读写。这些Cache有效缩短了 I/O系统调用(比如read,write,getdents)的时间。
    那么有人说过段时间,linux会自动释放掉所用的内存。等待一段时间后,我们使用free再来试试,看看是否有释放?
    # free -m
    total used free shared buffers cached
    Mem: 249 244 5 0 8 174
    -/+ buffers/cache: 61 188
    Swap: 511 0 511
    似乎没有任何变化。(实际情况下,内存的管理还与Swap有关)那么我能否手动释放掉这些内存呢?回答是可以的!
    二、手动释放缓存
    /proc是一个虚拟文件系统,我们可以通过对它的读写操作做为与kernel实体间进行通信的一种手段。也就是说可以通过修改/proc中的文件,来对当前kernel的行为做出调整。那么我们可以通过调整/proc/sys/vm/drop_caches来释放内存。操作如下:
    # cat /proc/sys/vm/drop_caches
    0
    首先,/proc/sys/vm/drop_caches的值,默认为0。
    # sync
    手动执行sync命令(描述:sync 命令运行 sync 子例程。如果必须停止系统,则运行sync 命令以确保文件系统的完整性。sync 命令将所有未写的系统缓冲区写到磁盘中,包含已修改的 i-node、已延迟的块 I/O 和读写映射文件)
    # echo 3 > /proc/sys/vm/drop_caches
    # cat /proc/sys/vm/drop_caches
    3
    将/proc/sys/vm/drop_caches值设为3
    # free -m
    total used free shared buffers cached
    Mem: 249 66 182 0 0 11
    -/+ buffers/cache: 55 194
    Swap: 511 0 511
    再来运行free命令,会发现现在的used为66MB,free为182MB,buffers为0MB,cached为11MB。那么有效的释放了buffer和cache。
    有关/proc/sys/vm/drop_caches的用法在下面进行了说明
    /proc/sys/vm/drop_caches (since Linux 2.6.16)
    Writing to this file causes the kernel to drop clean caches,dentries and inodes from memory, causing that memory to become free.
    To free pagecache, use echo 1 > /proc/sys/vm/drop_caches;
    to free dentries and inodes, use echo 2 > /proc/sys/vm/drop_caches;
    to free pagecache, dentries and inodes, use echo 3 > /proc/sys/vm/drop_caches.
    Because this is a non-destructive operation and dirty objects are not freeable, the user should run sync first.
    free小并不是说内存不够用了,应该看的是free的第二行最后一个值:-/+ buffers/cache: 58 191,这才是系统可用的内存大小。
    当发生内存不足、应用获取不到可用内存、OOM错误等问题时,还是更应该去分析应用方面的原因,如用户量太大导致内存不足、发生应用内存溢出等情况,否则,清空buffer,强制腾出free的大小,可能只是把问题给暂时屏蔽了。
    我觉得,排除内存不足的情况外,除非是在软件开发阶段,需要临时清掉buffer,以判断应用的内存使用情况;或应用已经不再提供支持,即使应用对内存的时候确实有问题,而且无法避免的情况下,才考虑定时清空buffer。(可惜,这样的应用通常都是运行在老的操作系统版本上,上面的操作也解决不了)。而生产环境下的服务器可以不考虑手工释放内存,这样会带来更多的问题。记住内存是拿来用的,不是拿来看的。不像windows。
    无论你的真实物理内存有多少,他都要拿硬盘交换文件来读。这也就是windows为什么常常提示虚拟空间不足的原因,你们想想多无聊,在内存还有大部分的时候,拿出一部分硬盘空间来充当内存。硬盘怎么会快过内存,所以我们看linux,只要不用swap的交换空间,就不用担心自己的内存太少。如果常常swap用很多,可能你就要考虑加物理内存了,这也是linux看内存是否够用的标准哦。

  • 相关阅读:
    HDU 1874 畅通工程续 (Dijkstra , Floyd , SPFA, Bellman_Ford 四种算法)
    HDU Wooden Sticks
    HDU 3664 Permutation Counting
    javascript DOM添加元素,使用节点属性
    SQL server查询数据类型为ntext是空或NULL值
    TSQL Pivot Tables(行列转换) in SQL Server 2005/2008
    ASP.NET 3.5(c#)区域化设置(LCID)
    Sql 脚本导入EXCEL数据
    asp.net 3.5 csharp 实现事务
    asp.net3.5 csharp: How to show HTML content in calendar tooltip?
  • 原文地址:https://www.cnblogs.com/yinsua/p/3509536.html
Copyright © 2011-2022 走看看