linux分析工具之lsof详解

一、概述

      在linux中，所有东西都是以文件的形式存在的，所以我们在linux上的操作都是通过对文件的操作来执行我们所需要的逻辑，比如我们对文件数据的访问，修改，访问网络的连接等，刚好lsof（list open file）命令用于查看进程打开的文件，打开文件的进程，进程打开的端口(TCP、UDP)。找回/恢复删除的文件。是十分方便的系统监视工具，因为lsof命令需要访问核心内存和各种文件，所以需要root用户执行。

安装命令：yum install lsof  #centos系统

二、语法和内容含义

2.1、使用语法

语法：lsof ［options］ filename

常用选项：

无选项       #默认列出所有打开的文件相关信息
file        #列出打开文件存在的进程
-a          #使用AND逻辑，合并选项输出内容
-c<进程名>   #列出指定进程所打开的文件
-g          #列出GID号进程详情
-d<文件号>   #列出占用该文件描述符的进程
+d<目录>     #列出目录下被打开的文件
+D<目录>     #递归列出目录下被打开的文件
-n<目录>     #列出使用NFS的文件
-i<条件>     #列出符合条件的进程。（4、6、协议、:端口、 @ip ）
-p<进程号>   #列出指定进程号所打开的文件
-u          #列出UID号进程详情
-U          #获取 UNIX 套接口地址
-t          #列出进程
-h          #显示帮助信息
-v          #显示版本信息

2.2、内容含义

首先我们使用lsof | head 命令查看一下

[root@lgh ~]# lsof | head
COMMAND     PID           USER   FD      TYPE             DEVICE  SIZE/OFF       NODE NAME
init          1           root  cwd       DIR              253,0      4096          2 /
init          1           root  rtd       DIR              253,0      4096          2 /
init          1           root  txt       REG              253,0    150352    8519721 /sbin/init
init          1           root  mem       REG              253,0     66432    1310749 /lib64/libnss_files-2.12.so
init          1           root  DEL       REG              253,0              1310733 /lib64/libc-2.12.so
init          1           root  DEL       REG              253,0              1310744 /lib64/libgcc_s-4.4.7-20120601.so.1.#prelink#.AXbpAw
init          1           root  DEL       REG              253,0              1310761 /lib64/librt-2.12.so
init          1           root  DEL       REG              253,0              1310757 /lib64/libpthread-2.12.so.#prelink#.6p24pv
init          1           root  DEL       REG              253,0              1310783 /lib64/libdbus-1.so.3.4.0.#prelink#.M6wKKU

lsof -R +d /dev | head 命令查看一波（主要看FD这列），并且相比上面增加了PPID列

[root@mwpl003 ~]# lsof -R +d /dev | head
COMMAND     PID  PPID           USER   FD   TYPE             DEVICE SIZE/OFF  NODE NAME
init          1     0           root    0u   CHR                1,3      0t0  4025 /dev/null
init          1     0           root    1u   CHR                1,3      0t0  4025 /dev/null
init          1     0           root    2u   CHR                1,3      0t0  4025 /dev/null
udevd      1872     1           root    0u   CHR                1,3      0t0  4025 /dev/null
udevd      1872     1           root    1u   CHR                1,3      0t0  4025 /dev/null
udevd      1872     1           root    2u   CHR                1,3      0t0  4025 /dev/null
rserver    3375     1 rstudio-server    0u   CHR                1,3      0t0  4025 /dev/null
rserver    3375     1 rstudio-server    1u   CHR                1,3      0t0  4025 /dev/null
rserver    3375     1 rstudio-server    2u   CHR                1,3      0t0  4025 /dev/null

每列的基本含义如下：

COMMAND：进程的名称
PID：进程标识符
PPID：父进程标识符（需要指定-R参数）
USER：进程所有者
FD：文件描述符，应用程序通过文件描述符识别该文件。
TYPE：文件类型
DEVICE：指定磁盘的名称
SIZE/OFF：文件的大小
NODE：索引节点（文件在磁盘上的标识）
NAME：打开文件的确切名称

其中FD文件描述符列表如下：

cwd：表示current work dirctory，即：应用程序的当前工作目录，这是该应用程序启动的目录，除非它本身对这个目录进行更改
txt：该类型的文件是程序代码，如应用程序二进制文件本身或共享库，如上列表中显示的 /sbin/init 程序
lnn：library references (AIX);
er：FD information error (see NAME column);
jld：jail directory (FreeBSD);
ltx：shared library text (code and data);
mxx ：hex memory-mapped type number xx.
m86：DOS Merge mapped file;
mem：memory-mapped file;
mmap：memory-mapped device;
pd：parent directory;
rtd：root directory;
tr：kernel trace file (OpenBSD);
v86 VP/ix mapped file;
0：表示标准输出
1：表示标准输入
2：表示标准错误

一般在标准输出、标准错误、标准输入后还跟着文件状态模式：
u：表示该文件被打开并处于读取/写入模式。
r：表示该文件被打开并处于只读模式。
w：表示该文件被打开并处于。
空格：表示该文件的状态模式为unknow，且没有锁定。
-：表示该文件的状态模式为unknow，且被锁定。

其中TYPE文件类型列表如下：

DIR：表示目录
CHR：表示字符类型
BLK：块设备类型
UNIX：UNIX域套接字
FIFO：先进先出(FIFO)队列
IPv4：网际协议(IP)套接字

三、实践

1、lsof -a -u root -d 2 | head   #列出是root用户，并且DF为2的文件，-a只有两者满足都满足要求才列出

[root@lgh ~]# lsof -a -u root -d 2 | head 
COMMAND     PID USER   FD   TYPE DEVICE SIZE/OFF    NODE NAME
init          1 root    2u   CHR    1,3      0t0    4025 /dev/null
udevd      1872 root    2u   CHR    1,3      0t0    4025 /dev/null
auditd     3525 root    2u   CHR    1,3      0t0    4025 /dev/null
rsyslogd   3559 root    2w   REG  253,0     2092 4457009 /var/log/messages
irqbalanc  3594 root    2u   CHR    1,3      0t0    4025 /dev/null
cupsd      3689 root    2w   CHR    1,3      0t0    4025 /dev/null
acpid      3721 root    2u   CHR    1,3      0t0    4025 /dev/null
hald-runn  3734 root    2u   CHR    1,3      0t0    4025 /dev/null
hald-addo  3774 root    2u   CHR    1,3      0t0    4025 /dev/null

2、lsof +d /bin/  #显示/bin当前目录下所有打开的文件，如果是想递归的打开则使用选项 +D即可

[root@lgh ~]# lsof +d /bin/
COMMAND     PID USER  FD   TYPE DEVICE SIZE/OFF     NODE NAME
dbus-daem  3668 dbus txt    REG  253,0   339080 12582956 /bin/dbus-daemon
bash       6012 root txt    REG  253,0   942200 12582957 /bin/bash
dbus-daem  9311  gdm txt    REG  253,0   339080 12582956 /bin/dbus-daemon
bash      11017 root txt    REG  253,0   942200 12582957 /bin/bash

3、lsof -i | head -20 | tail  #使用 -i 选项显示网络连接

[root@lgh ~]# lsof -i | head -20 | tail
rpcbind    3612            rpc    8u  IPv4     16143      0t0  TCP *:sunrpc (LISTEN)
rpcbind    3612            rpc    9u  IPv6     16144      0t0  UDP *:sunrpc 
rpcbind    3612            rpc   10u  IPv6     16145      0t0  UDP *:819 
rpcbind    3612            rpc   11u  IPv6     16146      0t0  TCP *:sunrpc (LISTEN)
rpc.statd  3634        rpcuser    5r  IPv4     16223      0t0  UDP localhost.localdomain:842 
rpc.statd  3634        rpcuser    8u  IPv4     16228      0t0  UDP *:53636 
rpc.statd  3634        rpcuser    9u  IPv4     16231      0t0  TCP *:36415 (LISTEN)
rpc.statd  3634        rpcuser   10u  IPv6     16234      0t0  UDP *:52108 
rpc.statd  3634        rpcuser   11u  IPv6     16237      0t0  TCP *:38611 (LISTEN)
cupsd      3689           root    6u  IPv6     16394      0t0  TCP localhost.localdomain:ipp (LISTEN)

4、lsof -i 4 | head  #仅获取IPV4的流量 ，如果想获取IPV6的流量的话，把4改成6即可

[root@lgh ~]# lsof -i 4 | head
COMMAND     PID           USER   FD   TYPE    DEVICE SIZE/OFF NODE NAME
haproxy    1523           root    0u  IPv4    871803      0t0  UDP *:50203 
haproxy    1523           root    4u  IPv4    871797      0t0  TCP *:ff-fms (LISTEN)
haproxy    1523           root    5u  IPv4    871798      0t0  TCP *:panagolin-ident (LISTEN)
haproxy    1523           root    6u  IPv4    871799      0t0  TCP *:scp-config (LISTEN)
rserver    3375 rstudio-server    6u  IPv4     15668      0t0  TCP *:msgsrvr (LISTEN)
rsyslogd   3559           root    4u  IPv4     15950      0t0  UDP *:syslog 
rpcbind    3612            rpc    6u  IPv4     16141      0t0  UDP *:sunrpc 
rpcbind    3612            rpc    7u  IPv4     16142      0t0  UDP *:819 
rpcbind    3612            rpc    8u  IPv4     16143      0t0  TCP *:sunrpc (LISTEN)

5、lsof -itcp |head #显示所有tcp连接，如果想显示udp连接就把tcp改成udp即可

[root@lgh~]# lsof -itcp |head
COMMAND     PID           USER   FD   TYPE    DEVICE SIZE/OFF NODE NAME
haproxy    1523           root    4u  IPv4    871797      0t0  TCP *:ff-fms (LISTEN)
haproxy    1523           root    5u  IPv4    871798      0t0  TCP *:panagolin-ident (LISTEN)
haproxy    1523           root    6u  IPv4    871799      0t0  TCP *:scp-config (LISTEN)
rserver    3375 rstudio-server    6u  IPv4     15668      0t0  TCP *:msgsrvr (LISTEN)
rpcbind    3612            rpc    8u  IPv4     16143      0t0  TCP *:sunrpc (LISTEN)
rpcbind    3612            rpc   11u  IPv6     16146      0t0  TCP *:sunrpc (LISTEN)
rpc.statd  3634        rpcuser    9u  IPv4     16231      0t0  TCP *:36415 (LISTEN)
rpc.statd  3634        rpcuser   11u  IPv6     16237      0t0  TCP *:38611 (LISTEN)
cupsd      3689           root    6u  IPv6     16394      0t0  TCP localhost.localdomain:ipp (LISTEN)

6、lsof -i@192.168.88.133  #使用-i@host显示该主机是否连接了指定主机，使用-i@host:port显示该主机是否通过某个指定端口连接指定主机

[root@lgh ~]# lsof -i@192.168.88.133
COMMAND    PID      USER   FD   TYPE    DEVICE SIZE/OFF NODE NAME
java     20380 zookeeper   31u  IPv4 207875803      0t0  TCP lgh:macbak->lgh1:60670 (ESTABLISHED)
java     20380 zookeeper   33u  IPv4 207875808      0t0  TCP lgh:40232->lgh1:bmcpatrolagent (ESTABLISHED)
java     20380 zookeeper   46u  IPv4 207879310      0t0  TCP lgh:eforward->lgh1:40134 (ESTABLISHED)
catalogd 21822    impala  277u  IPv4 207882990      0t0  TCP lgh:40964->lgh1:med-ltp (ESTABLISHED)
catalogd 21822    impala  278u  IPv6 207882991      0t0  TCP lgh:23020->lgh1:40058 (ESTABLISHED)
catalogd 21822    impala  279u  IPv6 207882992      0t0  TCP lgh:23020->lgh1:40060 (ESTABLISHED)
You have mail in /var/spool/mail/root
[root@lgh ~]# lsof -i@192.168.88.133:60670
COMMAND   PID      USER   FD   TYPE    DEVICE SIZE/OFF NODE NAME
java    20380 zookeeper   31u  IPv4 207875803      0t0  TCP lgh:macbak->lgh1:60670 (ESTABLISHED)

7、lsof -i -stcp:LISTEN |head #找出所有监听的文件，把LISTEN换成ESTABLISHED表示显示所有建立连接的文件

[root@lgh ~]# lsof -i -stcp:LISTEN |head    
COMMAND     PID           USER   FD   TYPE    DEVICE SIZE/OFF NODE NAME
haproxy    1523           root    4u  IPv4    871797      0t0  TCP *:ff-fms (LISTEN)
haproxy    1523           root    5u  IPv4    871798      0t0  TCP *:panagolin-ident (LISTEN)
haproxy    1523           root    6u  IPv4    871799      0t0  TCP *:scp-config (LISTEN)
rserver    3375 rstudio-server    6u  IPv4     15668      0t0  TCP *:msgsrvr (LISTEN)
rpcbind    3612            rpc    8u  IPv4     16143      0t0  TCP *:sunrpc (LISTEN)
rpcbind    3612            rpc   11u  IPv6     16146      0t0  TCP *:sunrpc (LISTEN)
rpc.statd  3634        rpcuser    9u  IPv4     16231      0t0  TCP *:36415 (LISTEN)
rpc.statd  3634        rpcuser   11u  IPv6     16237      0t0  TCP *:38611 (LISTEN)
cupsd      3689           root    6u  IPv6     16394      0t0  TCP localhost.localdomain:ipp (LISTEN)

8、lsof -u root | head #指定root用户打开的所有文件，可以通过 -u ^root取反，表示非root用户打开的文件，kill -9 `lsof -u hive -t` 表示杀掉hive所有的进程

[root@lgh ~]# lsof -u root | head
COMMAND     PID USER   FD      TYPE             DEVICE SIZE/OFF       NODE NAME
init          1 root  cwd       DIR              253,0     4096          2 /
init          1 root  rtd       DIR              253,0     4096          2 /
init          1 root  txt       REG              253,0   150352    8519721 /sbin/init
init          1 root  mem       REG              253,0    66432    1310749 /lib64/libnss_files-2.12.so
init          1 root  DEL       REG              253,0             1310733 /lib64/libc-2.12.so
init          1 root  DEL       REG              253,0             1310744 /lib64/libgcc_s-4.4.7-20120601.so.1.#prelink#.AXbpAw

9、 lsof -c haproxy  #显示指定haproxy命令的连接文件，使用-p参数则是指定端口

[root@lgh ~]# lsof -c haproxy
COMMAND  PID USER   FD   TYPE             DEVICE SIZE/OFF     NODE NAME
haproxy 1523 root  cwd    DIR              253,1     4096 57939112 /data/hive/transfer_baseinfo
haproxy 1523 root  rtd    DIR              253,0     4096        2 /
haproxy 1523 root  txt    REG              253,0  3769897  2376812 /usr/local/sbin/haproxy
haproxy 1523 root  DEL    REG              253,0           1310733 /lib64/libc-2.12.so
haproxy 1523 root  DEL    REG              253,0           1310836 /lib64/ld-2.12.so
haproxy 1523 root    0u  IPv4             871803      0t0      UDP *:50203 
haproxy 1523 root    3u  unix 0xffff88204e2343c0      0t0   871795 /var/run/haproxy/info.sock.1522.tmp
haproxy 1523 root    4u  IPv4             871797      0t0      TCP *:ff-fms (LISTEN)

四、数据恢复

    当进程打开了某个文件时，只要该进程保持打开该文件，即使将其删除，它依然存在于磁盘中。这意味着，进程并不知道文件已经被删除，它仍然可以向打开该文件时提供给它的文件描述符进行读取和写入。除了该进程之外，这个文件是不可见的，因为已经删除了其相应的目录索引节点。

    在/proc 目录下，其中包含了反映内核和进程树的各种文件。/proc目录挂载的是在内存中所映射的一块区域，所以这些文件和目录并不存在于磁盘中，因此当我们对这些文件进行读取和写入时，实际上是在从内存中获取相关信息。大多数与 lsof 相关的信息都存储于以进程的 PID 命名的目录中，即 /proc/1234 中包含的是 PID 为 1234 的进程的信息。每个进程目录中存在着各种文件，它们可以使得应用程序简单地了解进程的内存空间、文件描述符列表、指向磁盘上的文件的符号链接和其他系统信息。

    lsof 程序使用该信息和其他关于内核内部状态的信息来产生其输出。所以lsof 可以显示进程的文件描述符和相关的文件名等信息。也就是我们通过访问进程的文件描述符可以找到该文件的相关信息。当系统中的某个文件被意外地删除了，只要这个时候系统中还有进程正在访问该文件，那么我们就可以通过lsof从/proc目录下恢复该文件的内容

我们使用 /var/log/messages做测试：

首先我们用lsof查看下/var/log/messages这个文件的连接

[root@lgh2 fd]# lsof | grep messages
rsyslogd  6511         root    6w      REG              253,0    647273   34816846 /var/log/messages
in:imjour 6511 6543    root    6w      REG              253,0    647273   34816846 /var/log/messages
rs:main   6511 6553    root    6w      REG              253,0    647273   34816846 /var/log/messages

然后我们使用命令rm  -f  /var/log/messages删除文件，继续使用lsof命令查看，已经显示删除

[root@lgh2 fd]# lsof | grep messages   
rsyslogd  6511         root    6w      REG              253,0    647273   34816846 /var/log/messages (deleted)
in:imjour 6511 6543    root    6w      REG              253,0    647273   34816846 /var/log/messages (deleted)
rs:main   6511 6553    root    6w      REG              253,0    647273   34816846 /var/log/messages (deleted)

然后我们cd /proc/6511/fd   #6511表示进程号，然后我们ll查看一下目录

[root@lgh2 fd]# ll
total 0
lr-x------ 1 root root 64 Oct 12 04:22 0 -> /dev/null
l-wx------ 1 root root 64 Oct 12 04:22 1 -> /dev/null
l-wx------ 1 root root 64 Oct 12 04:22 2 -> /dev/null
lr-x------ 1 root root 64 Oct 12 04:22 3 -> anon_inode:inotify
lrwx------ 1 root root 64 Oct 12 04:22 4 -> socket:[36279]
lr-x------ 1 root root 64 Oct 12 04:22 5 -> /run/log/journal/0b933fe64005419d8f16599287df47be/system.journal
l-wx------ 1 root root 64 Oct 12 04:22 6 -> /var/log/messages (deleted) #这里发现6这个文件描述符指向这个文件/var/log/messages

我们cat查看一下6这个文件

[root@lgh2 fd]# cat 6 | head -20  #这个文件就是我们对应的/var/log/messages文件
Sep 22 03:12:45 lgh2 chronyd[6237]: Selected source 120.25.115.20
Sep 22 03:12:45 lgh2 chronyd[6237]: System clock wrong by -43210.956291 seconds, adjustment started
Sep 22 03:15:01 lgh2 systemd: Started Session 881 of user root.
Sep 22 03:15:21 lgh2 systemd: Time has been changed
Sep 22 03:15:27 lgh2 chronyd[6237]: Forward time jump detected!
Sep 22 03:15:27 lgh2 chronyd[6237]: Can't synchronise: no selectable sources
Sep 22 03:17:36 lgh2 chronyd[6237]: Selected source 119.28.183.184
Sep 22 03:17:36 lgh2 chronyd[6237]: System clock wrong by -43211.807006 seconds, adjustment started
Sep 22 03:18:23 lgh2 chronyd[6237]: Selected source 120.25.115.20
Sep 22 03:18:41 lgh2 chronyd[6237]: Selected source 119.28.183.184
Sep 22 03:20:01 lgh2 systemd: Started Session 882 of user root.
Sep 22 03:20:01 lgh2 systemd: Started Session 883 of user root.
Sep 22 03:20:21 lgh2 systemd: Time has been changed
Sep 22 03:20:26 lgh2 chronyd[6237]: Forward time jump detected!
Sep 22 03:20:26 lgh2 chronyd[6237]: Can't synchronise: no selectable sources
Sep 22 03:22:36 lgh2 chronyd[6237]: Selected source 5.79.108.34
Sep 22 03:22:36 lgh2 chronyd[6237]: System clock wrong by -43211.562700 seconds, adjustment started
Sep 22 03:22:55 lgh2 chronyd[6237]: Selected source 120.25.115.20
Sep 22 03:25:01 lgh2 systemd: Started Session 884 of user root.
Sep 22 03:25:22 lgh2 systemd: Time has been changed

然后我们使用命令 cat /proc/6511/fd/6 > /var/log/messages 还原数据，然后我们继续使用lsof命令查看

[root@lgh2 fd]# lsof | grep messages
rsyslogd  6511         root    6w      REG              253,0       213   34816872 /var/log/messages
in:imjour 6511 6543    root    6w      REG              253,0       213   34816872 /var/log/messages
rs:main   6511 6553    root    6w      REG              253,0       213   34816872 /var/log/messages

还原成功了

更多linux文章请见：linux&shell学习系列