进程概念
- 内核的功用：进程管理、文件系统、网络功能、内存管理、驱动程序、安全功能等
- Process: 运行中的程序的一个副本，是被载入内存的一个指令集合
• 进程ID（Process ID，PID）号码被用来标记各个进程
• UID、GID、和SELinux语境决定对文件系统的存取和访问权限
• 通常从执行进程的用户来继承
• 存在生命周期 - task struct：Linux内核存储进程信息的数据结构格式
- task list：多个任务的的task struct组成的链表
- 进程创建：
• init：第一个进程
• 进程：都由其父进程创建，父子关系，CoW fork(), clone()
进程的基本状态
- 创建状态：进程在创建时需要申请一个空白PCB(process control block进程控 制块)，向其中填写控制和管理进程的信息，完成资源分配。如果创建工作无法完 成，比如资源无法满足，就无法被调度运行，把此时进程所处状态称为创建状态
- 就绪状态：进程已准备好，已分配到所需资源，只要分配到CPU就能够立即运行
- 执行状态：进程处于就绪状态被调度后，进程进入执行状态
- 阻塞状态：正在执行的进程由于某些事件（I/O请求，申请缓存区失败）而暂时 无法运行，进程受到阻塞。在满足请求时进入就绪状态等待系统调用
- 终止状态：进程结束，或出现错误，或被系统终止，进入终止状态。无法再执行
状态之间转换六种情况
- 运行——>就绪：1，主要是进程占用CPU的时间过长，而系统分配给该进程占 用CPU的时间是有限的；2，在采用抢先式优先级调度算法的系统中,当有更高 优先级的进程要运行时，该进程就被迫让出CPU，该进程便由执行状态转变为 就绪状态
- 就绪——>运行：运行的进程的时间片用完，调度就转到就绪队列中选择合适 的进程分配CPU
- 运行——>阻塞：正在执行的进程因发生某等待事件而无法执行，则进程由执 行状态变为阻塞状态，如发生了I/O请求
- 阻塞——>就绪:进程所等待的事件已经发生，就进入就绪队列
- 以下两种状态是不可能发生的：
- 阻塞——>运行：即使给阻塞进程分配CPU，也无法执行，操作系统在进行调 度时不会从阻塞队列进行挑选，而是从就绪队列中选取
- 就绪——>阻塞：就绪态根本就没有执行，谈不上进入阻塞态
进程优先级
- 进程优先级：
• 系统优先级：数字越小，优先级越高
• 0-139（CentOS4,5）
• 各有140个运行队列和过期队列
• 0-98，99（CentOS6）
• 实时优先级: 99-0 值最大优先级最高
• nice值：-20到19，对应系统优先级100-139或99 - Big O：时间复杂度，用时和规模的关系
• O(1), O(logn), O(n)线性, O(n^2)抛物线, O(2^n) - 进程内存：
•Page Frame: 页框，用存储页面数据，存储Page 4k
•LRU：Least Recently Used 近期最少使用算法,释放内存 物理地址空间和线性地址空间
•MMU：Memory Management Unit负责转换线性和物理地址
•TLB：Translation Lookaside Buffer 翻译后备缓冲器,用于保存虚拟地址和物理地址映射关系的缓存 - IPC: Inter Process Communication
•同一主机：
• signal:信号
• shm: shared memory
• semaphore:信号量，一种计数器
•不同主机：
• socket: IP和端口号
• RPC: remote procedure call
• MQ：消息队列，Kafka，ActiveMQ
进程状态
- Linux内核：抢占式多任务
- 进程类型：
•: daemon,在系统引导过程中启动的进程，和终端无关进程
•前台进程：跟终端相关，通过终端启动的进程
•注意：两者可相互转化 - 进程状态：
•运行态：running
•就绪态：ready
•睡眠态：
可中断：interruptable
不可中断：uninterruptable
•停止态：stopped,暂停于内存，但不会被调度，除非手动启动
•僵死态：zombie，结束进程，父进程结束前，子进程不关闭
系统管理工具
- 进程的分类：
• CPU-Bound：CPU密集型，非交互
• IO-Bound：IO密集型，交互 - Linux系统状态的查看及管理工具：pstree, ps, pidof, pgrep, top, htop, glance, pmap, vmstat, dstat, kill, pkill, job, bg, fg, nohup
- pstree命令：
pstree display a tree of processes - ps: process state
ps report a snapshot of the current processes
Linux系统各进程的相关信息均保存在/proc/PID目录下的各文件中
查看进程进程ps
- ps [OPTION]...
- 支持三种选项：
UNIX选项 如-A -e
BSD选项 如a
GNU选项 如--help
• 选项：默认显示当前终端中的进程
• a 选项包括所有终端中的进程
• x 选项包括不链接终端的进程
• u 选项显示进程所有者的信息
• f 选项显示进程树,相当于 --forest
• k|--sort 属性 对属性排序,属性前加- 表示倒序
• o 属性… 选项显示定制的信息 pid、cmd、%cpu、%mem
• L 显示支持的属性列表
• -C cmdlist 指定命令，多个命令用，分隔
• -L 显示线程
• -e: 显示所有进程，相当于-A
• -f: 显示完整格式程序信息
• -F: 显示更完整格式的进程信息
• -H: 以进程层级格式显示进程相关信息
• -u userlist 指定有效的用户ID或名称
• -U userlist 指定真正的用户ID或名称
• -g gid或groupname 指定有效的gid或组名称
• -G gid或groupname 指定真正的gid或组名称
• -p pid 显示指pid的进程
• --ppid pid 显示属于pid的子进程
• -M 显示SELinux信息，相当于Z
ps输出属性
- VSZ: Virtual memory SiZe，虚拟内存集，线性内存
- RSS: ReSident Size, 常驻内存集
- STAT：进程状态
• R：running
• S: interruptable sleeping
• D: uninterruptable sleeping
• T: stopped
• Z: zombie
• +: 前台进程
• l: 多线程进程
• L：内存分页并带锁
• N：低优先级进程
• <: 高优先级进程
• s: session leader，会话（子进程）发起者 - ni: nice值
- pri: priority 优先级
- psr: processor CPU编号
- rtprio: 实时优先级
- 示例： • ps axo pid,cmd,psr,ni,pri,rtprio
- 常用组合：
• aux
• -ef
• -eFH
• -eo pid,tid,class,rtprio,ni,pri,psr,pcpu,stat,comm
• axo stat,euid,ruid,tty,tpgid,sess,pgrp,ppid,pid,pcpu,comm
ps示例
- 查询你拥有的所有进程
ps -x *显示指定用户名(RUID)或用户ID的进程
ps -fU apache
ps -fU 48 - 显示指定用户名(EUID)或用户ID的进程
ps -fu wang
ps -fu 1000 - 查看以root用户权限（实际和有效ID）运行的每个进程
ps -U root -u root - 列出某个组拥有的所有进程（实际组ID：RGID或名称）
ps -fG nginx - 列出有效组名称（或会话）所拥有的所有进程
ps -fg mysql
ps -fg 27 - 显示指定的进程ID对应的进程
ps -fp 1234 - 以父进程ID来显示其下所有的进程，如显示父进程为1234的所有进程
ps -f --ppid 1234 - 显示指定PID的多个进程
ps -fp 1204,1239,1263 - 要按tty显示所属进程
ps -ft pts/0 - 以进程树显示系统中的进程如何相互链接
ps -e --forest - 以进程树显示指定的进程
ps -f --forest -C sshd
ps -ef --forest | grep -v grep | grep sshd - 要显示一个进程的所有线程,将显示LWP（轻量级进程）以及NLWP（轻量级进 程数）列
ps -fL -C nginx - 要列出所有格式说明符
ps L - 查看进程的PID，PPID，用户名和命令
ps -eo pid,ppid,user,cmd - 自定义格式显示文件系统组,ni值开始时间和进程的时间
ps -p 1234 -o pid,ppid,fgroup,ni,lstart,etime - 使用其PID查找进程名称：
ps -p 1244 -o comm= - 要以其名称选择特定进程，显示其所有子进程
ps -C sshd,bash - 查找指定进程名所有的所属PID，在编写需要从std输出或文件读取PID的脚本时 这个参数很有用
ps -C httpd,sshd -o pid= - 检查一个进程的执行时间
ps -eo comm,etime,user | grep nginx - 查找占用最多内存和CPU的进程
ps -eo pid,ppid,cmd,%mem,%cpu --sort=-%mem | head
ps -eo pid,ppid,cmd,%mem,%cpu --sort=-%cpu | head - 显示安全信息
ps -eM
ps --context - 使用以下命令以用户定义的格式显示安全信息
ps -eo euser,ruser,suser,fuser,f,comm,label - 使用watch实用程序执行重复的输出以实现对就程进行实时的监视，如下面的命 令显示每秒钟的监视
watch -n 1 'ps -eo pid,ppid,cmd,%mem,%cpu --sort=-%mem | head'
进程优先级
- 进程优先级调整
• 静态优先级：100-139
• 进程默认启动时的nice值为0，优先级为120
• 只有根用户才能降低nice值（提高优先性） - nice命令
nice [OPTION] [COMMAND [ARG]...] - renice命令
renice [-n] priority pid... - 查看
ps axo pid,comm,ni
搜索进程
- 最灵活：ps 选项 | 其它命令
- 按预定义的模式：pgrep
pgrep [options] pattern
• -u uid: effective user，生效者
• -U uid: real user，真正发起运行命令者
• -t terminal: 与指定终端相关的进程
• -l: 显示进程名
• -a: 显示完整格式的进程名
• -P pid: 显示指定进程的子进程 - 按确切的程序名称：/sbin/pidof
pidof bash
系统工具
- uptime
显示当前时间，系统已启动的时间、当前上线人数，系统平均负载（1、5、10 分钟的平均负载，一般不会超过1） - 系统平均负载: 指在特定时间间隔内运行队列中的平均进程数
- 通常每个CPU内核的当前活动进程数不大于3，那么系统的性能良好。如果每 个CPU内核的任务数大于5，那么此主机的性能有严重问题
- 如果linux主机是1个双核CPU，当Load Average 为6的时候说明机器已经被 充分使用
top命令
- top：有许多内置命令
•排序：
• P：以占据的CPU百分比,%CPU
• M：占据内存百分比,%MEM
• T：累积占据CPU时长,TIME+
•首部信息显示：
• uptime信息：l命令
• tasks及cpu信息：t命令
• cpu分别显示：1 (数字)
• memory信息：m命令
•退出命令：q
•修改刷新时间间隔：s
•终止指定进程：k
•保存文件：W - 栏位信息简介
• us：用户空间
• sy：内核空间
• ni：调整nice时间
• id：空闲
• wa：等待IO时间
• hi：硬中断
• si：软中断（模式切换）
• st：虚拟机偷走的时间 - 选项：
• -d # 指定刷新时间间隔，默认为3秒
• -b 全部显示所有进程
• -n # 刷新多少次后退出
• -H 线程模式，示例：top -H -p `pidof mysqld` - htop命令：EPEL源
选项：
• -d #: 指定延迟时间；
• -u UserName: 仅显示指定用户的进程
• -s COLUME: 以指定字段进行排序
子命令：
• s：跟踪选定进程的系统调用
• l：显示选定进程打开的文件列表
• a：将选定的进程绑定至某指定CPU核心
• t：显示进程树
free命令
- free [OPTION]
• -b 以字节为单位
• -m 以MB为单位
• -g 以GB为单位
• -h 易读格式
• -o 不显示-/+buffers/cache行
• -t 显示RAM + swap的总和
• -s n 刷新间隔为n秒
• -c n 刷新n次后即退出
内存工具
- vmstat命令：虚拟内存信息
vmstat [options] [delay [count]]
vmstat 2 5 - procs:
• r：可运行（正运行或等待运行）进程的个数，和核心数有关
• b：处于不可中断睡眠态的进程个数(被阻塞的队列的长度) - memory：
• swpd: 交换内存的使用总量
• free：空闲物理内存总量
• buffer：用于buffer的内存总量
• cache：用于cache的内存总量 - swap:
• si：从磁盘交换进内存的数据速率(kb/s)
• so：从内存交换至磁盘的数据速率(kb/s) - io：
• bi：从块设备读入数据到系统的速率(kb/s)
• bo: 保存数据至块设备的速率 - system：
• in: interrupts 中断速率，包括时钟
• cs: context switch 进程切换速率 - cpu：
•us:Time spent running non-kernel code
•sy: Time spent running kernel code
•id: Time spent idle. Linux 2.5.41前,包括IO-wait time.
•wa: Time spent waiting for IO. 2.5.41前，包括in idle.
•st: Time stolen from a virtual machine. 2.6.11前, unknown. - 选项：
-s: 显示内存的统计数据 - iostat:统计CPU和设备IO信息 示例：iostat 1 10
- pmap命令：进程对应的内存映射
- pmap [options] pid [...]
-x: 显示详细格式的信息
示例：pmap 1 - 另外一种实现 cat /proc/PID/maps
系统监控工具
- glances命令：EPEL源
- glances [-bdehmnrsvyz1] [-B bind] [-c server] [-C conffile] [-p port] [-P password] [-- password] [-t refresh] [-f file] [-o output]
- 内建命令： •a Sort processes automatically •l Show/hide logs •c Sort processes by CPU% •b Bytes or bits for network I/O •m Sort processes by MEM% •w Delete warning logs •p Sort processes by name •x Delete warning and critical logs •i Sort processes by I/O rate •1 Global CPU or per-CPU stats •d Show/hide disk I/O stats •h Show/hide this help screen •f Show/hide file system stats •t View network I/O as combination •n Show/hide network stats •u View cumulative network I/O •s Show/hide sensors stats •q Quit (Esc and Ctrl-C also work) •y Show/hide hddtemp stats
- 常用选项：
•-b: 以Byte为单位显示网卡数据速率
•-d: 关闭磁盘I/O模块
•-f /path/to/somefile: 设定输入文件位置
•-o {HTML|CSV}：输出格式
•-m: 禁用mount模块
•-n: 禁用网络模块
•-t #: 延迟时间间隔
•-1：每个CPU的相关数据单独显示 - C/S模式下运行glances命令
- 服务器模式：
glances -s -B IPADDR
IPADDR: 指明监听的本机哪个地址 - 客户端模式：
glances -c IPADDR
IPADDR：要连入的服务器端地址 - dstat命令：系统资源统计,代替vmstat,iostat
- dstat [-afv] [options..] [delay [count]]
• -c 显示cpu相关信息
• -C #,#,...,total
• -d 显示disk相关信息
• -D total,sda,sdb,...
• -g 显示page相关统计数据
• -m 显示memory相关统计数据
• -n 显示network相关统计数据
• -p 显示process相关统计数据
• -r 显示io请求相关的统计数据
• -s 显示swapped相关的统计数据
•--tcp
•--udp
•--unix
•--raw
•--socket
•--ipc
•--top-cpu：显示最占用CPU的进程
•--top-io: 显示最占用io的进程
•--top-mem: 显示最占用内存的进程
•--top-latency: 显示延迟最大的进程
iotop
- iotop命令是一个用来监视磁盘I/O使用状况的top类工具iotop具有与top相似的UI，其中包括 PID、用户、I/O、进程等相关信息，可查看每个进程是如何使用IO
- iotop输出
• 第一行：Read和Write速率总计
• 第二行：实际的Read和Write速率
• 第三行：参数如下：
• 线程ID（按p切换为进程ID ） • 优先级
• 用户
• 磁盘读速率
• 磁盘写速率
• swap交换百分比
• IO等待所占的百分比
• 线程/进程命令
iotop常用参数
- -o, --only只显示正在产生I/O的进程或线程，除了传参，可以在运行过程中按o 生效
- -b, --batch非交互模式，一般用来记录日志
- -n NUM, --iter=NUM设置监测的次数，默认无限。在非交互模式下很有用
- -d SEC, --delay=SEC设置每次监测的间隔，默认1秒，接受非整形数据例如1.1
- -p PID, --pid=PID指定监测的进程/线程
- -u USER, --user=USER指定监测某个用户产生的I/O
- -P, --processes仅显示进程，默认iotop显示所有线程
- -a, --accumulated显示累积的I/O，而不是带宽
- -k, --kilobytes使用kB单位，而不是对人友好的单位。在非交互模式下，脚本 编程有用
- -t, --time 加上时间戳，非交互非模式
- -q, --quiet 禁止头几行，非交互模式，有三种指定方式
• -q 只在第一次监测时显示列名
• -qq 永远不显示列名
• -qqq 永远不显示I/O汇总 - 交互按键
• left和right方向键：改变排序
• r：反向排序
• o：切换至选项--only
• p：切换至--processes选项
• a：切换至--accumulated选项
• q：退出
• i：改变线程的优先级
lsof
- lsof：list open files查看当前系统文件的工具。在linux环境下，一切皆文件， 用户通过文件不仅可以访问常规数据，还可以访问网络连接和硬件如传输控制 协议 (TCP) 和用户数据报协议 (UDP)套接字等，系统在后台都为该应用程序分 配了一个文件描述符
- 命令参数
• -a：列出打开文件存在的进程
• -c<进程名>：列出指定进程所打开的文件
• -g：列出GID号进程详情
• -d<文件号>：列出占用该文件号的进程
• +d<目录>：列出目录下被打开的文件
• +D<目录>：递归列出目录下被打开的文件
• -n<目录>：列出使用NFS的文件
• -i<条件>：列出符合条件的进程(4、6、协议、:端口、 @ip )
• -p<进程号>：列出指定进程号所打开的文件
• -u：列出UID号进程详情
• -h：显示帮助信息
• -v：显示版本信息。
• -n: 不反向解析网络名字
lsof示例
- 进程管理
- 查看由登陆用户启动而非系统启动的进程
• lsof /dev/pts1 - 指定进程号，可以查看该进程打开的文件
• lsof -p 9527 - 文件管理
- 查看指定程序打开的文件
• lsof -c httpd - 查看指定用户打开的文件
• lsof -u root | more - 查看指定目录下被打开的文件
• lsof +D /var/log/
• lsof +d /var/log/
参数+D为递归列出目录下被打开的文件，参数+d为列出目录下被打开的文件 - 网络管理
- 查看所有网络连接
• lsof -i –n lsof -i@127.0.0.1
通过参数-i查看网络连接的情况，包括连接的ip、端口等以及一些服务的连接情况，例如： sshd等。也可以通过指定ip查看该ip的网络连接情况 - 查看端口连接情况
• lsof -i :80 -n
通过参数-i:端口可以查看端口的占用情况，-i参数还有查看协议，ip的连接情况等 - 查看指定进程打开的网络连接
• lsof -i –n -a -p 9527
参数-i、-a、-p等，-i查看网络连接情况，-a查看存在的进程，-p指定进程 - 查看指定状态的网络连接
• lsof -n -P -i TCP -s TCP:ESTABLISHED
-n:no host names, -P:no port names,-i TCP指定协议，-s指定协议状态通过多个参数可以 清晰的查看网络连接情况、协议连接情况等 - 恢复删除文件
• lsof |grep /var/log/messages
• m -f /var/log/messages
• lsof |grep /var/log/messages
• cat /proc/653/fd/6
• cat /proc/653/fd/6 > /var/log/messages ##### 进程管理工具 - kill命令：向进程发送控制信号，以实现对进程管理,每个信号对应一个数字，信号名称以SIG开 头（可省略），不区分大小写
- 显示当前系统可用信号： kill –l 或者 trap -l
- 常用信号：man 7 signal
• 1) SIGHUP 无须关闭进程而让其重读配置文件
• 2) SIGINT 中止正在运行的进程；相当于Ctrl+c
• 3) SIGQUIT 相当于ctrl+
• 9) SIGKILL 强制杀死正在运行的进程
• 15) SIGTERM 终止正在运行的进程
• 18) SIGCONT 继续运行
• 19) SIGSTOP 后台休眠
指定信号的方法 :
• (1) 信号的数字标识：1, 2, 9
• (2) 信号完整名称：SIGHUP
• (3) 信号的简写名称：HUP - 按PID：kill [-SIGNAL] pid …
• kill –n SIGNAL pid
• kill –s SIGNAL pid - 按名称：killall [-SIGNAL] comm…
- 按模式：pkill [options] pattern • -SIGNAL •-u uid: effective user，生效者 •-U uid: real user，真正发起运行命令者 •-t terminal: 与指定终端相关的进程 •-l: 显示进程名（pgrep可用） •-a: 显示完整格式的进程名（pgrep可用） •-P pid: 显示指定进程的子进程
作业管理
- Linux的作业控制
• 前台作业：通过终端启动，且启动后一直占据终端
• 后台作业：可通过终端启动，但启动后即转入后台运行（释放终端） - 让作业运行于后台
• (1) 运行中的作业： Ctrl+z
• (2) 尚未启动的作业： COMMAND & - 后台作业虽然被送往后台运行，但其依然与终端相关；退出终端，将关闭后台作业。如果希望
送往后台后，剥离与终端的关系
• nohup COMMAND &>/dev/null &
• screen；COMMAND - 查看当前终端所有作业：jobs
- 作业控制：
• fg [[%]JOB_NUM]：把指定的后台作业调回前台
• bg [[%]JOB_NUM]：让送往后台的作业在后台继续运行
• kill [%JOB_NUM]： 终止指定的作业