Linux性能之CPU使用率

CPU使用率

Linux 通过 /proc 虚拟文件系统，向用户空间提供了系统内部状态的信息，而 /proc/stat 提供的就是系统的 CPU 和任务统计信息

proc - process information pseudo-file system
查询 man proc

关键指标常用参数

• user（通常缩写为 us），代表用户态 CPU 时间。注意，它不包括下面的 nice 时间，但包括了 guest 时间。
• nice（通常缩写为 ni），代表低优先级用户态 CPU 时间，也就是进程的 nice 值被调整为 1-19 之间时的 CPU 时间。这里注意，nice 可取值范围是 -20 到 19，数值越大，优先级反而越低。
• system（通常缩写为 sys），代表内核态 CPU 时间。
• idle（通常缩写为 id），代表空闲时间。注意，它不包括等待 I/O 的时间（iowait）。
• iowait（通常缩写为 wa），代表等待 I/O 的 CPU 时间。
• irq（通常缩写为 hi），代表处理硬中断的 CPU 时间。
• softirq（通常缩写为 si），代表处理软中断的 CPU 时间。
• steal（通常缩写为 st），代表当系统运行在虚拟机中的时候，被其他虚拟机占用的 CPU 时间。
• guest（通常缩写为 guest），代表通过虚拟化运行其他操作系统的时间，也就是运行虚拟机的 CPU 时间。
• guest_nice（通常缩写为 gnice），代表以低优先级运行虚拟机的时间

工具使用

top

[root@k8s ~]# top
top - 15:16:08 up 4 days,  3:12,  1 user,  load average: 3.77, 2.88, 2.52
Tasks: 255 total,   1 running, 254 sleeping,   0 stopped,   0 zombie
%Cpu0  : 99.7 us,  0.3 sy,  0.0 ni,  0.0 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st
%Cpu1  : 42.3 us,  4.8 sy,  0.0 ni, 50.2 id,  0.7 wa,  0.0 hi,  2.0 si,  0.0 st
KiB Mem :  8173864 total,   753088 free,  3961556 used,  3459220 buff/cache
KiB Swap:        0 total,        0 free,        0 used.  3474088 avail Mem

 PID USER      PR  NI    VIRT    RES    SHR S  %CPU %MEM     TIME+ COMMAND
 3482 root      20   0 2430460   1224    760 S  93.7  0.0 832:50.08 kswapd0
29995 root      20   0 5279240  26508   1760 S  64.2  0.3  25:58.04 tsm
 2928 root      20   0 1485424 171912  36504 S   6.6  2.1 317:33.63 kubelet
18035 root      20   0  164248   2480   1612 R   0.3  0.0   0:00.53 top

// top 默认显示的是所有 CPU 的平均值，这个时候你只需要按下数字 1 ，就可以切换到每个 CPU 的使用率了。

S 列（也就是 Status 列）表示进程的状态
进程的状态主要有以下几个：

• R 是 Running 或 Runnable 的缩写，表示进程在 CPU 的就绪队列中，正在运行或者正在等待运行。
• D 是 Disk Sleep 的缩写，也就是不可中断状态睡眠（Uninterruptible Sleep），一般表示进程正在跟硬件交互，并且交互过程不允许被其他进程或中断打断。
• Z 是 Zombie 的缩写，它表示僵尸进程，也就是进程实际上已经结束了，但是父进程还没有回收它的资源（比如进程的描述符、PID 等）。
• S 是 Interruptible Sleep 的缩写，也就是可中断状态睡眠，表示进程因为等待某个事件而被系统挂起。当进程等待的事件发生时，它会被唤醒并进入 R 状态。
• I 是 Idle 的缩写，也就是空闲状态，用在不可中断睡眠的内核线程上。前面说了，硬件交互导致的不可中断进程用 D 表示，但对某些内核线程来说，它们有可能实际上并没有任何负载，用 Idle 正是为了区分这种情况。要注意，D 状态的进程会导致平均负载升高， I 状态的进程却不会。

pidstat

• 用户态 CPU 使用率 （%usr）；
• 内核态 CPU 使用率（%system）；
• 运行虚拟机 CPU 使用率（%guest）；
• 等待 CPU 使用率（%wait）；
• 总的 CPU 使用率（%CPU）。

[root@k8s ~]# pidstat 1 5
Linux 3.10.0-1062.4.1.el7.x86_64 (instance-010oj085) 	04/06/2020 	_x86_64_	(2 CPU)

03:23:11 PM   UID       PID    %usr %system  %guest    %CPU   CPU  Command
03:23:12 PM     0      1403    0.00    0.97    0.00    0.97     1  kube-controller
03:23:12 PM     0      1638    0.97    0.00    0.00    0.97     1  etcd
03:23:12 PM     0      2492    0.00    1.94    0.00    1.94     1  pidstat
03:23:12 PM     0      2574    0.00    0.97    0.00    0.97     1  hosteye
03:23:12 PM     0      2928    1.94    0.97    0.00    2.91     1  kubelet
03:23:12 PM     0      3233    0.97    0.00    0.00    0.97     1  kube-apiserver
03:23:12 PM     0      3482  100.00    0.00    0.00  100.00     1  kswapd0

perf

perf 是 Linux 2.6.31 以后内置的性能分析工具。它以性能事件采样为基础，不仅可以分析系统的各种事件和内核性能，还可以用来分析指定应用程序的性能问题。可以查找热点函数。

[root@k8s ~]# perf top
Samples: 75K of event 'cycles', 4000 Hz, Event count (approx.): 26597196684 lost: 0/0 drop: 0/0
Overhead  Shared Object                   Symbol
   1.57%  kswapd0                         [.] 0x00000000001c8641     
   1.10%  perf-3482.map                   [.] 0x00007fdbbf621e8c     
   0.68%  tsm64                           [.] 0x000000000002f147    
   0.61%  kswapd0                         [.] 0x00000000001c8647   
   0.60%  perf-3482.map                   [.] 0x00007fdbbf621eb5

• 输出结果中，第一行包含三个数据，分别是采样数（Samples）、事件类型（event）和事件总数量（Event count）。
• 第一列 Overhead ，是该符号的性能事件在所有采样中的比例，用百分比来表示。
• 第二列 Shared ，是该函数或指令所在的动态共享对象（Dynamic Shared Object），如内核、进程名、动态链接库名、内核模块名等。
• 第三列 Object ，是动态共享对象的类型。比如 [.] 表示用户空间的可执行程序、或者动态链接库，而 [k] 则表示内核空间。
• 最后一列 Symbol 是符号名，也就是函数名。当函数名未知时，用十六进制的地址来表示。

dstat

dstat可以让你实时地看到所有系统资源，例如，你能够通过统计IDE控制器当前状态来比较磁盘利用率，或者直接通过网络带宽数值来比较磁盘的吞吐率（在相同的时间间隔内）

[root@k8s ~]# dstat
You did not select any stats, using -cdngy by default.
----total-cpu-usage---- -dsk/total- -net/total- ---paging-- ---system--
usr sys idl wai hiq siq| read  writ| recv  send|  in   out | int   csw
 67   3  29   0   0   1|4910B  470k|   0     0 |   0     0 |3645  4917
 89   3   6   0   0   3|   0   724k| 394k  267k|   0     0 |5252  4447
 90   4   5   0   0   2|   0   140k| 362k  230k|   0     0 |4917  4281
 84   3  12   0   0   2|   0  4096B| 287k  196k|   0     0 |4854  4481
 84   4  11   0   0   1|   0   216k| 360k  235k|   0     0 |5246  5545

默认输出信息：

• CPU状态：CPU的使用率。这项报告更有趣的部分是显示了用户，系统和空闲部分，这更好地分析了CPU当前的使用状况。如果你看到"wait"一栏中，CPU的状态是一个高使用率值，那说明系统存在一些其它问题。当CPU的状态处在"waits"时，那是因为它正在等待I/O设备（例如内存，磁盘或者网络）的响应而且还没有收到。

• 磁盘统计：磁盘的读写操作，这一栏显示磁盘的读、写总数。

• 网络统计：网络设备发送和接受的数据，这一栏显示的网络收、发数据总数。

• 分页统计：系统的分页活动。分页指的是一种内存管理技术用于查找系统场景，一个较大的分页表明系统正在使用大量的交换空间，或者说内存非常分散，大多数情况下你都希望看到page in（换入）和page out（换出）的值是0 0。

• 系统统计：这一项显示的是中断（int）和上下文切换（csw）。这项统计仅在有比较基线时才有意义。这一栏中较高的统计值通常表示大量的进程造成拥塞，需要对CPU进行关注。你的服务器一般情况下都会运行运行一些程序，所以这项总是显示一些数值

pstree

// 指定 pid 查找父进程
[root@k8s ~]# pstree -aps 18035
systemd,1 --switched-root --system --deserialize 22
  `-sshd,2504 -D
      `-sshd,16674
          `-bash,16676
              `-top,18035

总结

• 用户 CPU 和 Nice CPU 高，说明用户态进程占用了较多的 CPU，所以应该着重排查进程的性能问题。
• 系统 CPU 高，说明内核态占用了较多的 CPU，所以应该着重排查内核线程或者系统调用的性能问题。
• I/O 等待 CPU 高，说明等待 I/O 的时间比较长，所以应该着重排查系统存储是不是出现了 I/O 问题。
• 软中断和硬中断高，说明软中断或硬中断的处理程序占用了较多的 CPU，所以应该着重排查内核中的中断服务程序。

进程状态

ps 或者 top ，可以查看进程的状态，这些状态包括运行（R）、空闲（I）、不可中断睡眠（D）、可中断睡眠（S）、僵尸（Z）以及暂停（T）等。

• 不可中断状态，表示进程正在跟硬件交互，为了保护进程数据和硬件的一致性，系统不允许其他进程或中断打断这个进程。进程长时间处于不可中断状态，通常表示系统有 I/O 性能问题。
• 僵尸进程表示进程已经退出，但它的父进程还没有回收子进程占用的资源。短暂的僵尸状态我们通常不必理会，但进程长时间处于僵尸状态，就应该注意了，可能有应用程序没有正常处理子进程的退出。

常见问题

CPU使用率很高，通过top等命令找不到相应的进程

• 应用里直接调用了其他二进制程序，这些程序通常运行时间比较短，通过 top 等工具也不容易发现。
• 应用本身在不停地崩溃重启，而启动过程的资源初始化，很可能会占用相当多的 CPU。

对于这类进程，我们可以用 pstree 或者 execsnoop 找到它们的父进程，再从父进程所在的应用入手，排查问题的根源。

学习笔记
来自极客时间：《Linux性能优化实战》