zoukankan      html  css  js  c++  java
  • python 内存泄露的诊断

    对于一个用 python 实现的,长期运行的后台服务进程来说,如果内存持续增长,那么很可能是有了“内存泄露”


    一、内存泄露的原因


    对于 python 这种支持垃圾回收的语言来说,怎么还会有内存泄露? 概括来说,有以下三种原因:


    1、 所用到的用 C 语言开发的底层模块中出现了内存泄露。


    2、 代码中用到了全局的 list、 dict 或其它容器,不停的往这些容器中插入对象,而忘记了在使用完之后进行删除回收


    3、 代码中有“引用循环”, python 垃圾处理机制无法进行回收


    二、 内存泄露的诊断思路


    无论是哪种方式的内存泄露,最终表现的形式都是某些 python 对象在不停的增长;因此,首先是要找到这些异常的对象。


     
    三、 内存泄露的诊断步骤
     
    用到的工具: gc 模块和 objgraph


    objgraph 是一个用于诊断内存问题的有用的工具


    1、 在服务程序的循环逻辑中,选择出一个诊断点

    2、 在诊断点,插入如下诊断语句


    import gc  
    import objgraph  
    ### 强制进行垃圾回收  
    gc.collect()  
    ### 打印出对象数目最多的 50 个类型信息  
    objgraph.show_most_common_types(limit=50)  
     


    3、 检查统计信息,找到异常对象。


    运行加入诊断语句的服务程序,并将打印到屏幕上的统计信息重定向到日志中。


    运行一段时间后,就可以来分析日志,看看哪些对象在不停的增长。


    以我的有问题的程序为例,我将日志记录到 log.txt 中,运行一段时间后,发现 tuple 和 list 类型的对象不停增长:


    # grep "^list " log.txt


    # grep "^tuple " log.txt

     
    由于 tuple 和 list 是一种通用的类型,因此,那些不停增长的 tuple 和 list 到底是什么对象,还是无法得知。我们还得想点办法追踪下去。


    如果不停增长的对象,是一些非通用的类型(例如你自己实现的一个 class),那么问题就比较好定位了。


    回到我的这个异常程序,为了找出 tuple 和 list 到底是什么? 我采用了排查的方式。由于程序的模块化还不错,我可以每次禁用一个模块,然后重新跑程序,看看在这种情况下, tuple 和 list 是否仍然不停增长。这样,很快就能将故障定位到具体的模块中。
  • 相关阅读:
    Redis学习
    MySQL索引
    细数 Java 线程池的原理
    红黑树学习
    HashMap学习
    Java集合框架
    Java性能优化的45个细节
    MyBatis理解
    jenkins+git+maven+tomcat+jdk本地部署windows版
    windows版docker安装nginx,并设置目录挂载
  • 原文地址:https://www.cnblogs.com/chenjianhong/p/4144730.html
Copyright © 2011-2022 走看看