zoukankan      html  css  js  c++  java
  • Linux性能优化:内存使用情况分析

    Blog:博客园 个人

    什么是内存

    内存(Memory)是计算机的重要部件之一,也称内存储器和主存储器,它用于暂时存放CPU中的运算数据,与硬盘等外部存储器交换的数据

    它是外存与CPU进行沟通的桥梁,计算机中所有程序的运行都在内存中进行,内存性能的强弱影响计算机整体发挥的水平。

    只要计算机开始运行,操作系统就会把需要运算的数据从内存调到CPU中进行运算,当运算完成,CPU将结果传送出来。

    内存的运行也决定计算机整体运行快慢的程度。

    Linux内存回收机制

    为啥要回收:

    • 内核需要为任何时刻突发到来的内存申请提供足够的内存,以便cache的使用和其他相关内存的使用不至于让系统的剩余内存长期处于很少的状态。
    • 当真的有大于空闲内存的申请到来的时候,会触发强制内存回收。

    内存回收针对的目标有两种,一种是针对zone的,另一种是针对一个memcg的,把针对zone的内存回收方式分为三种,分别是快速内存回收、直接内存回收、kswapd内存回收。

    查看Linux内存情况

    查看/proc/meminfo

    [root@test ~]# cat /proc/meminfo
    MemTotal:       16166688 kB
    MemFree:        14051412 kB
    MemAvailable:   14772588 kB
    Buffers:            2116 kB
    Cached:          1073260 kB
    SwapCached:            0 kB
    Active:           770384 kB
    Inactive:         698264 kB
    Active(anon):     450156 kB
    Inactive(anon):    76748 kB
    Active(file):     320228 kB
    Inactive(file):   621516 kB
    Unevictable:           0 kB
    Mlocked:               0 kB
    SwapTotal:      33554428 kB
    SwapFree:       33554428 kB
    Dirty:               476 kB
    Writeback:             0 kB
    AnonPages:        393328 kB
    Mapped:           153828 kB
    Shmem:            133628 kB
    Slab:             246448 kB
    SReclaimable:     133892 kB
    SUnreclaim:       112556 kB
    KernelStack:       13472 kB
    PageTables:        30496 kB
    NFS_Unstable:          0 kB
    Bounce:                0 kB
    WritebackTmp:          0 kB
    CommitLimit:    41637772 kB
    Committed_AS:    4257776 kB
    VmallocTotal:   34359738367 kB
    VmallocUsed:      320696 kB
    VmallocChunk:   34350426108 kB
    HardwareCorrupted:     0 kB
    AnonHugePages:    155648 kB
    CmaTotal:              0 kB
    CmaFree:               0 kB
    HugePages_Total:       0
    HugePages_Free:        0
    HugePages_Rsvd:        0
    HugePages_Surp:        0
    Hugepagesize:       2048 kB
    DirectMap4k:      279276 kB
    DirectMap2M:     6965248 kB
    DirectMap1G:    11534336 kB
    

    使用free命令查看

    [root@test ~]# free -h
                  total        used        free      shared  buff/cache   available
    Mem:            15G        874M         13G        130M        1.2G         14G
    Swap:           31G          0B         31G
    

    参数说明:

    • total:总内存大小。
    • used:已经使用的内存大小(这里面包含cached和buffers和shared部分)。
    • free:空闲的内存大小。
    • shared:进程间共享内存(一般不会用,可以忽略)。
    • buffers:内存中写完的东西缓存起来,这样快速响应请求,后面数据再定期刷到磁盘上。
    • cached:内存中读完缓存起来内容占的大小(这部分是为了下次查询时快速返回)。
    • available:还可以被应用程序使用的物理内存大小,和free的区别是,free是真正未被使用的内存,available是包括buffers、cached的。
    • Swap:硬盘上交换分区的使用大小。

    Buffer和Cache

    Cache(缓存),为了调高CPU和内存之间数据交换而设计,Buffer(缓冲)为了提高内存和硬盘(或其他I/O设备的数据交换而设计)。

    Cache主要是针对读操作设计的,不过Cache概念可能容易混淆,我理解为CPU本身就有Cache,包括一级缓存、二级缓存、三级缓存,我们知道CPU所有的指令操作对接的都是内存,而CPU的处理能力远高于内存速度,所以为了不让CPU资源闲置,Intel等公司在CPU内部集成了一些Cache,但毕竟不能放太多电路在里面,所以这部分Cache并不是很大,主要是用来存放一些常用的指令和常用数据,真正大部分Cache的数据应该是占用内存的空间来缓存请求过的数据,即上面的Cached部分(这部分纯属个人理解,正确与否有待考证)。

    Buffer主要是针对写操作设计的,更细的说是针对内存和硬盘之间的写操作来设计的,目的是将写的操作集中起来进行,减少磁盘碎片和硬盘反复寻址过程,提高性能。

    在Linux系统内部有一个守护进程会定期清空Buffer中的内容,将其写入硬盘内,当手动执行sync命令时也会触发上述操作。

    Swap

    虽然现在的内存已经变得非常廉价,但是swap仍然有很大的使用价值,合理的规划和使用swap分区,对系统稳定运行至关重要。

    Linux下可以使用文件系统中的一个常规文件或者一个独立分区作为交换空间使用。同时linux允许使用多个交换分区或者交换文件。

    内存泄漏和内存溢出

    内存溢出(OOM,out of memory),是指程序在申请内存时,没有足够的内存空间供其使用,出现out of memory;比如申请了一个integer,但给它存了long才能存下的数,那就是内存溢出。

    内存泄露(memory leak),是指程序在申请内存后,无法释放已申请的内存空间,一次内存泄露危害可以忽略,但内存泄露堆积后果很严重,无论多少内存,迟早会被占光。

    如何判断内存泄露

    jstat -gcutil PID,观察Old这个参数,如果每次执行完FULLGC之后Old区的值一次比一次升高,就可以判断为发生了内存泄漏。

    如何判断内存溢出

    Heap Dump(堆转储文件)它是一个Java进程在某个时间点上的内存快照。Heap Dump是有着多种类型的。不过总体上heap dump在触发快照的时候都保存了java对象和类的信息。通常在写heap dump文件前会触发一次FullGC,所以heap dump文件中保存的是FullGC后留下的对象信息。

    通过设置如下的JVM参数,可以在发生OutOfMemoryError后获取到一份HPROF二进制Heap Dump文件:

    -XX:+HeapDumpOnOutOfMemoryError

    生成的文件会直接写入到工作目录。

    注意:该方法需要JDK5以上版本。

    转存堆内存信息后,需要对文件进行分析,从而找到OOM的原因。可以使用以下方式:

    mat:eclipse memory analyzer, 基于eclipse RCP的内存分析工具。具体使用参考:http://www.eclipse.org/mat/

    jhat:JDK自带的java heap analyze tool,可以将堆中的对象以html的形式显示出来,包括对象的数量,大小等等,并支持对象查询语言OQL,分析相关的应用后,可以通过http://localhost:7000来访问分析结果。不推荐使用。

    OOM常见原因及解决方案

    可参考高手总结的9种 OOM 常见原因及解决方案

    释放内存

    在Linux系统下,我们一般不需要去释放内存,因为系统已经将内存管理的很好。但是凡事也有例外,有的时候内存会被缓存占用掉,导致系统使用SWAP空间影响性能,例如当你在linux下频繁存取文件后,物理内存会很快被用光,当程序结束后,内存不会被正常释放,而是一直作为caching。此时就需 要执行释放内存(清理缓存)的操作了。

    释放内存操作:

    sync  # 强制将内存中的缓存写入磁盘
    
    echo 数字 > /proc/sys/vm/drop_caches #数字可以是0-3的整数
    

    数字含义:

    • 0:不释放(系统默认值)
    • 1:释放页缓存
    • 2:释放dentries和inodes
    • 3:释放所有缓存
  • 相关阅读:
    Mastering Web Application Development with AngularJS 读书笔记-前记
    通过信息系统项目管理师-我的备考经验
    通过系统集成项目管理工程师考试-我的备考分享
    即将翻译 Building The New Financial Times Web App
    CSS3:flex布局应用
    前端性能利器——dynatrace ajax edition
    SIMD---AVX系列
    DirectSound---捕获音频、Qml/C++ 集成交互
    SIMD---SSE系列及效率对比
    SIMD---MMX代码优化
  • 原文地址:https://www.cnblogs.com/Rohn/p/14605486.html
Copyright © 2011-2022 走看看