zoukankan      html  css  js  c++  java
  • 【原创】python内存泄漏以及python flask框架莫名coredump

    1.python内存泄漏

    今天在看服务器上的进程时,用top查的时候,发现一个一直跑的脚本程序内存竟然达到了1.6G,这个脚本我有印象,一开始仅占用20M左右,显然是内存泄漏了。

    用gc和objgraph,主要是objgraph,查看都是那些对象在增长,发现是dict/tuple这些内置类型的对象在增长,这个比较麻烦,因为可能程序里面用到这种类型的比较多,但我们的代码简单,所以一下在就知道问题在哪儿了,再次注释以下。

    2. python flask莫名core dump

    日志中有如下日志:

    error: cannot switch to a different thread
    (libev) error creating signal/async pipe: Too many open files

    发现当前文件打开限制比较低,修改为65535

    发现没用,猜想肯定还是会报错,猜想是因为打开的文件描述符不断增加导致的问题,所以用losf查看进程打开的文件,发现其中eventpoll这个文件描述符一直再增长,确定了这个原因导致的就要找到为什么了

    深挖原因,发现如果没有请求过去的话是不会增长描述符的,因此我需要确定在访问的时候进程都做了啥(一开始没有想到的,只是一直顺着接口部分找原因,睡了一觉重新整理思路才开始找)。发现有问题的地方:

    问题模块访问时多了俩个fcntl调用(用strace -p查看):

    查看圈中的部分,发现不知为何将这个socket更改为了非阻塞的了,我想这才是导致这个问题的主要原因了。

    继续查是什么引起的:

    由于在flask中使用了grequests库,导致底层的socket行为变为非阻塞的了然后我在测试环境使用的是flask自带的werkzeug server,里面的实现可能不完善,导致文件描述符泄漏。如果我使用uwsgi之类的server,不会出现泄漏。

  • 相关阅读:
    BZOJ 3611: [Heoi2014]大工程 [虚树 DP]
    BZOJ 3991: [SDOI2015]寻宝游戏 [虚树 树链的并 set]
    BZOJ 2286: [Sdoi2011消耗战 [DP 虚树]
    BZOJ 4767: 两双手 [DP 组合数]
    BZOJ 1426: 收集邮票 [DP 期望 平方]
    转「服务器运维」如何解决服务器I/O过高的问题
    iostat查看linux硬盘IO性能
    Linux前台、后台、挂起、退出、查看命令汇总
    Linux虚拟内存的作用
    -bash: iostat: command not found解决办法
  • 原文地址:https://www.cnblogs.com/pengyusong/p/6085789.html
Copyright © 2011-2022 走看看