zoukankan      html  css  js  c++  java
  • 一次服务器CPU占用率高的定位分析

    文章转自51CTO:

    背景:通过性能监控发现上线服务器cpu某核占用率已经达到了100%,而且是由我们的某个核心服务导致的。幸亏由于我们的服务进程由多个相同worker(线程)调度承担的,所以除了CPU占用率高之外,并没有对服务造成影响。随着上次我们找到那个吃IO的罪犯,这次我们要追捕的是潜伏在团体中的特务,更加惊险刺激哟!


    系统环境

    wKiom1P2jSPi5DkFAABnC85tHrE367.jpg

    top命令很容易定位到是谁占用CPU最高。

    wKioL1P70pvB-yfpAADsLIYJdMc829.jpg

    以我们的这个业务进程(imDevServer)举例,为什么说这货是个潜伏者呢?因为这是个多线程的进程,我们要知道实际上占用cpu的最小单位是线程,所以肯定是众线程中的某一个或几个占用CPU过高导致的。top -H -p pid命令查看进程内各个线程占用的CPU百分比

    wKioL1P70obxRp3tAAFC0E_uv3k946.jpg

    如上图所示我们可以看出id为8863的线程cpu占用率最高。好,我们现在只要能找到他偷走的cpu就好了,虽然这小子嘴巴严,但是我们有一套完善的审问流程,不怕他不招。首先出马的是strace -T -r -c -p pid命令

    wKiom1P70VvQh_8OAADA6MBgQag126.jpg

    它的作用是查看系统调用和花费的时间,epoll_wait虽然占用的调用时间多,但是他本身是个正常的阻塞调用。

    我们接着让pstack pid出马

    wKioL1P70k-Col9DAAdHOufy_ec026.jpg

    可以看到每个线程的调用堆栈,找到已经找出的占用CPU最高的那个线程,然后看他的调用堆栈,很容易看出在哪一步逻辑上导致了busy loop,

    再使用trace -p tid看看线程的调用过程接着定位到代码,修复bug,找回被偷走的cpu。

    后记:其实作为一个程序员,我感觉最大的乐趣不是洋洋洒洒的写程序,而是去寻找一些“高端”bug,也许就和有些刑警痴迷于侦破案件一样,这就是对技术的热爱。

  • 相关阅读:
    mysql关联查询
    MySQL数据库面试题(转发来自https://thinkwon.blog.csdn.net/article/details/104778621)
    iview + vue + thinphp5.1 源码
    <!--标签嵌套规则-->
    PHP的基本变量检测方法
    PHP的八种变量
    php变量命名规范
    C++11新特性-常用
    算法设计-DP常见问题及解题技巧
    Web开发-概述
  • 原文地址:https://www.cnblogs.com/SuKiWX/p/8384793.html
Copyright © 2011-2022 走看看