TCPDUMP 高级规则使用

概述

在了解 tcpdump 的高级规则之前, 需要对 IP, TCP 和 UDP 的报文首部有大致的了解, 实际上很多网络工具的使用都是基于报文首部的结构做相应的操作. 在了解报文结构后, 也可以按需实现私有的功能, 比如抓取匹配的请求, 再做相应的处理, Snapper 就是根据 TCP 首部信息实现的一个简单的 DoS 防御工具, 详见 https://github.com/vr000m/Snapper, 依次推论, 可以实现更细致的功能, 比如 HTTP 请求过滤, SQL 白名单等; 后续部分则参考一些链接对一些规则进行详细说明.

协议首部

IP 首部

IP header: http://tools.ietf.org/html/rfc791#section-3.1

     0                   1                   2                   3
     0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1
    +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
    |Version|  IHL  |Type of Service|          Total Length         |
    +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
    |         Identification        |Flags|      Fragment Offset    |
    +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
    |  Time to Live |    Protocol   |         Header Checksum       |
    +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
    |                       Source Address                          |
    +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
    |                    Destination Address                        |
    +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
    |                    Options                    |    Padding    |
    +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+

                    Example Internet Datagram Header

ip 首部中每行 4 个字节的 32 bit 值以大端(big endian)字节序传输, 先是 0~7 bit, 其次 8~15 最后 24~31 bit, TCP/IP 首部中所有的二进制整数在网络中都以这种次序传输, 所以 big endian 又称网络字节序, 一些机器采用小端(little endian)传输, 则在网络传输前需要把首部换成网络字节序.

IHL: 4bit

IP 首部长度(Internet Header Length), 表示 32 bit 字的数目, 4 bit 最大为 15(1111), 所有首部长度最长为 15*32/8 = 60 byte, 值得注意的是 IHL 的最小值应该是 5 byte(出去选项和数据).

Type of service: 8 bit

服务类型指定了服务质量需要的一些参数; 这些参数用来指示服务在网络传输中需要的一些实际参数, 比如一些服务需要需要更稳定的传输, 一些服务不能有较大的延迟等，都可以通过这些参数预先声明.

Total Length:  16 bits

数据报的总长度. 它包含了首部长度(IHL)和数据长度, 单位为字节. 16 bit 可以允许最大传输 65535 字节.

Identification:  16 bits

标识字段唯一的标识主机发送的每一分数据报, 通常每发送一个报文其值就加 1.

Flags:  3 bits

用于各种控制的标记符号, Bit 0 是保留的, 必须为 0, Bit 1 标识是否有碎片(DF), Bit 2 标识是否为最后一个碎片(MF).

Fragment Offset:  13 bits

碎片的偏移位置. 单位为 8 字节(64 bits), 第一个碎片的偏移为 0.

Time to Live:  8 bits

生存时间(TTL), 设置了数据报可以经过的最多路由器数, 源主机初始设置通常为 32 或 64, 由内核参数 net.ipv4.ip_default_ttl 指定. 每经过一个路由器处理就减去 1, 当该字段的值为 0时，数据报就被丢弃，并发送 ICMP 报文通知源主机.

Protocol:  8 bits

标识数据报中数据部分的协议, 比如TCP, UDP ICMP 等.

Header Checksum:  16 bits

IP首部的校验和, 一些字段的内容可能会改变(TTL等), 校验和用来重新计算并验证网络传输过程中的每端的 header. 校验和的算法是: 首先将校验和的字段置为 0, 再对首部中每个 16 bit (16 位为一组) 进行二进制反码求和, 结果存在该字段中.

Source Address:  32 bits

来源 ip 地址.

Destination Address:  32 bits

目的 ip 地址

Options:  variable

可选项.数据报中的可变长可选信息, 比如可以定义安全, 记录路径, 网络时间戳等.

Padding:  variable

用来填充首部, 保证首部长度时 32bit 的整数倍.

UDP 首部

http://tools.ietf.org/html/rfc768

udp 数据报封装成 ip 数据报格式:

                 +------------+------------+-----------+
                 | IP header  | UDP header | UDP data  |
                 +------------+------------+-----------+
                    20 bytes      8 bytes

udp header 格式:

                  0      7 8     15 16    23 24    31
                 +--------+--------+--------+--------+
                 |     Source      |   Destination   |
                 |      Port       |      Port       |
                 +--------+--------+--------+--------+
                 |                 |                 |
                 |     Length      |    Checksum     |
                 +--------+--------+--------+--------+
                 |
                 |          data octets ...
                 +---------------- ...

                      User Datagram Header Format

Source Port: 16 bits
Destination  Port: 16 bits

源端口是可选的, 可以用来表示发送进程, 没有源端口就用 0 表示; 目的端口表示接收进程, TCP 端口和 UDP 端口是相互独立的.

Length: 16 bits

表示 UDP 首部和 UDP 数据的字节长度, 最小值为 8 字节(首部是 8 bytes). 可以为奇数字节.

Checksum: 16 bits

校验和覆盖 UDP 伪首部(pseudo), UDP 首部和 UDP 数据. 为了计算校验和, UDP 和 TCP 都包含 12 字节的伪首部, 伪首部包含 IP 首部的一些字段, 目的是为了保证数据的正确传输. 校验方法和 IP 首部类似, 不过由于 UDP 长度可以为奇数字节, 必要的时候在最后增加填充字节. 校验和包含的结构如下:

                  0      7 8     15 16    23 24    31
                 +--------+--------+--------+--------+  ------
                 |          source address           |
                 +--------+--------+--------+--------+
                 |        destination address        |  pseudo Header
                 +--------+--------+--------+--------+
                 |  zero  |protocol|   UDP length    |
                 +--------+--------+--------+--------+  ------
                 |     Source      |   Destination   |
                 |      Port       |      Port       |
                 +--------+--------+--------+--------+  UDP Header
                 |                 |                 |
                 |     Length      |    Checksum     |
                 +--------+--------+--------+--------+  ------
                 |
                 |          data octets ... (padding)
                 +---------------- ...

TCP 首部

http://tools.ietf.org/html/rfc793
http://tools.ietf.org/html/rfc3540

tcp 数据报封装成 ip 数据报格式:

   +---------------+-------------+------------+
   |  IP header    | TCP header  |  TCP data  |
   +---------------+-------------+------------+
       20 bytes        20 bytes

tcp 首部格式:

0                   1                   2                   3
    0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1
   +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
   |          Source Port          |       Destination Port        |
   +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
   |                        Sequence Number                        |
   +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
   |                    Acknowledgment Number                      |
   +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
   |  Data |     |N|C|E|U|A|P|R|S|F|                               |
   | Offset| Rsvd|S|W|C|R|C|S|S|Y|I|            Window             |
   |       |     | |R|E|G|K|H|T|N|N|                               |
   +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
   |           Checksum            |         Urgent Pointer        |
   +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
   |                    Options                    |    Padding    |
   +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
   |                             data                              |
   +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+

                            TCP Header Format

Source Port: 16 bits
Destination Port: 16 bits

每个 tcp 数据报都包含来源和目的端口号, 用来寻找发送和接收的应用进程, 这两个信息和 IP 首部中的来源和目的 IP 唯一确定一个 TCP 连接.

Sequence Number:  32 bits

序号用来表示 TCP 发端向手段松松的数据字节流, 它用来表示该 TCP 报文中的第一个数据字节. 在 SYN 为 1 的情况下序号为 ISN + 1, ISN为连接的初始序号. 序号到达 2^32 - 1 后从 0 开始.

Acknowledgment Number:  32 bits

当 ACK 控制位为 1 时, 确认序号包含发送确认的一段所期望收到的下一个序号.

Data Offset:  4 bits

表示首部中 32 bit 的数量, 需要这个字段是因为 Options 字段是可变的.

Reserved:  3 bits

早期版本是 6 bit, 保留位以待将来使用, 必须都置为 0.

Control Bits:  6 bits (from left to right)
    ECN:  Explicit Congestion Notification. 3 bits. (NS, CWR, ECE)
    URG:  Urgent Pointer field significant
    ACK:  Acknowledgment field significant
    PSH:  Push Function
    RST:  Reset the connection
    SYN:  Synchronize sequence numbers
    FIN:  No more data from sender

Window:  16 bits

通过声明窗口大小(单位字节)来进行 TCP 流量控制.

Checksum:  16 bits

类似 UDP, 校验和覆盖了 IP 伪首部, TCP 首部和 TCP 数据.由发端计算并存储, 由接收端进行验证, 伪首部结构如下:

                     +--------+--------+--------+--------+
                     |           Source Address          |
                     +--------+--------+--------+--------+
                     |         Destination Address       |
                     +--------+--------+--------+--------+
                     |  zero  |  PTCL  |    TCP Length   |
                     +--------+--------+--------+--------+

Urgent Pointer:  16 bits

当 URG 标志为 1 的时候该字段才有效. 紧急指针是一个正的偏移量, 和序号字段中的值相加表示紧急数据最后一个字节的序号.

Options:  variable

可选项, 最常见的可选字段是最长报文大小(MSS, Maximum Segment Size).指明本端所能接收的最大长度报文段. 常见的包含:

      Kind     Length    Meaning
      ----     ------    -------
       0         -       End of option list.
       1         -       No-Operation.
       2         4       Maximum Segment Size.

链路层封装

链路层封装, 通过抓包方式分析 IP/TCP 数据的时候, 可以跳过链路层的 14 字节, 直接分析 IP 数据报文.

   +--------+---------+-------------+---------------+--------+
   |  DST   |   SRC   |  Ether type |       Data    |   CRC  |
   +--------+---------+-------------+---------------+--------+
     6bytes    6bytes     2bytes     (46~1500)bytes   4bytes

DST: 目标 MAC 地址;
SRC: 来源 MAC 地址;
Ether type: 定义后续数据的类型;
CRC: 帧内后续数据的循环冗余校验;

TCPDUMP 使用

基础语法

了解上面的结构后, 看看 tcpdump 的高级用法:

https://wiki.wireshark.org/CaptureFilters
http://www.packetlevel.ch/html/tcpdumpf.html
http://www.wains.be/pub/networking/tcpdump_advanced_filters.txt

基本使用可参考上述链接的示例;

tcpdump 支持的表达式:

否  :  ! 或 not
与  : && 或 and
或  : || 或 or

多个条件可以使用括号包起来, 比如:

# tcpdump -i eth1 '(dst host 192.168.1.1 and port 80)'

协议 header 过滤规则:

proto[x:y]           : 从第 x 个位置开始取 y 字节, ip[2:2] 表示取 IP 首部中的第 3,4 字节(x 从 0 开始计算);
proto[x:y] & z = 0   : proto[x:y] 的结果和 z 进行 与 运算, 匹配最终结果为 0的报文;

操作符包括: >, <, >=, <=, =, !=

IP 规则

结合 IP 首部的信息看看下面的示例, ip[0] 即表示 IP 首部第一个字节, 一共 8 bit, Version 为 0100 即表示 IPv4, IHL 最小的长度应该是 IP 首部的长度 20 字节, 也就是 5 * 32 bits, 所以 IHL 最小值应该是 0101, 01000101 的十进制就是 69. 如果我们要抓取 IP 首部中有 Options 的数据报, 只需要使用一次规则就可以:

# tcpdump -i eth1 'ip[0] > 69'

上面还可以用位操作符的方式进行抓取, 与操作:

0100 0101
0000 1111 (十六进制 0xf, 十进制 15)
==========
0000 0101 (十进制 5)

所以使用以下规则也能满足条件:

# tcpdump -i eth1 'ip[0] & 15 > 5'
# tcpdump -i eth1 'ip[0] & 0xf > 5'

0xf -- 0000 1111
0xf0 -- 1111 0000

如果想知道数据报中是否有碎片, 可以抓取 IP 首部中的 Flags 字段, bit 0 必须为 0, bit 1 为 0 表示可能有碎片, bit 2 为 0 表示最后一个碎片. 所以如果我们可以使用规则匹配:

# tcpdump -i eth1 'ip[6] = 64'    # 没有碎片
# tcpdump -i eth1 'ip[6] = 32'    # 有碎片, 但不匹配最后的碎片
# tcpdump -i eth1 '((ip[6:2] > 0) and (not ip[6] = 64))'   # 匹配最后的碎片

另外想测试碎片信息可以使用 ping 命令检测:

# ping -M want -s 3000 192.168.1.1

ip[2:2] 对应 IP 首部的 total length, 比如以下可以抓取大于 600 字节的数据报:

# tcpdump -i eth1 'ip[2:2] > 600'

ip[8] 对应 IP 首部的 TTL, 如果我们机器的网络访问在 5 跳以内, 可以通过以下规则抓取本网内的数据:

# tcpdump -i eth1 'ip[8] < 5'

TCP 规则

同理, 在 TCP header 中, tcp[0:2] 即表示来源端口, tcp[2:2] 表示目的端口, 如果要抓取一个范围内的端口, 可以使用以下规则:

# tcpdump -i eth1 '(tcp[0:2] > 1500 and tcp[0:2] < 1550)'

上述等同 tcpdump -i eth1 'tcp portrange 1501-1549'
tcp 三次握手的过程中:

1. 发端发送 SYN;
2. 接收端回应 SYN, ACK;
3. 发送端发送 ACK;

如果只抓取 SYN 报文, 则对应控制位 00000010, 对应十进制 2, 想抓取 SYN + ACK, 则对应 00010010, 对应十进制 18, 如果要匹配 SYN 或 SYN + ACK 报文, 以按位运算应该是:

0001 0010
0000 0010
=========
0000 0010

整个匹配规则可以写成:

# tcpdump -i eth1 'tcp[13] = 2'
# tcpdump -i eth1 'tcp[13] = 18'
# tcpdump -i eth1 'tcp[13] & 2 = 2'

类似的, 要抓取 FIN 报文, 使用规则 'tcp[13] & 1 = 1', 抓取 RST 复位报文, 使用规则 'tcp[13] & 4 = 4', tcpdump 本身也支持标记过滤, 'tcp[tcpflags] == tcp-ack'.

如果要抓取数据相关的报文, 比如 HTTP 的 "GET " 请求, 则需要在 TCP 首部中找到数据部分, 再匹配 'G', 'E', 'T' 和 ' ', 分别对应十六进制 0x47455420, 'tcp[12:1] & 0xf0 >> 4' 得到的结果是 1000, 对应 TCP 首部中的 Data offset 4bit 信息, 即可以得到 TCP 首部长度, 4位信息是表示 32 bit 的数目, 换成字节的话应该是 1000 << 2, 所以'tcp[12:1] & 0xf0) >> 4' 等同 TCP 报文中数据的起始位置, 最后要抓取 HTTP GET请求的规则应该是:

# tcpdump -i eth1 'port 80 and tcp[((tcp[12:1] & 0xf0) >> 4):4] = 0x47455420'

UDP 首部

UDP 过滤规则相对简单:

udp[0:2]    source port
udp[2:2]    destination port
udp[4:2]    datagram length
udp[6:2]    UDP checksum

更多规则可参考 http://www.packetlevel.ch/html/tcpdumpf.html

参考

http://tools.ietf.org/html/rfc791#section-3.1
http://tools.ietf.org/html/rfc768
http://tools.ietf.org/html/rfc793
http://tools.ietf.org/html/rfc3540
https://wiki.wireshark.org/CaptureFilters
http://www.packetlevel.ch/html/tcpdumpf.html
http://www.wains.be/pub/networking/tcpdump_advanced_filters.txt