pktgen使用指南

pktgen使用指南

简介

​ pktgen是一个位于linux内核层的高性能网络测试工具，由瑞士皇家理工大学的TSlab实验室的Robert Olsson开发的（现在应该不在皇家理工了），主要用来测试网络驱动与网卡设备，支持多线程，能够产生随机mac地址、IP地址、UDP端口号的数据包，pktgen 的作者使用多CPU处理器在不同的PCI总线（pci 、pcie等总线）上用千兆以太网卡做过测试（pktgen的表现依赖于CPU处理速率、内存延时、pci总线速率等硬件参数），发送数据速率甚至可以大于10GBit/s。可见是可以满足大多数的网卡等测试需求。
　　pktgen的配置与统计信息查看都使用/proc文件系统完成，/proc文件系统是一种特殊的，有软件创建的文件系统，内核使用/proc文件系统向外界导出信息，外界也可以通过它配置内核态的一些进程的参数，如ps top uptime等linux发行版中的很多工具就是通过/proc实现的.在大多情况下，我们只用/proc读出数据（用于调试内核驱动等），而在pktgen中配置命令就用到了/proc的写入数据功能。

加载pktgen模块

现在版本的linux发行版大多加入了pktgen，使用以下命令加载pktgen模块：

[root@localhost ~]#modprobe pktgen

加载pktgen内核模块后，会在每个CPU上启动一个内核线程，内核线程的名字从kpktgend_0开始依次增加，下面是四个CPU的主机在加载pktgen后的ps信息

[root@localhost ~]# ps -ef | grep pktgen
root      1610     2  0 15:09 ?        00:00:00 [kpktgend_0]
root      1611     2  0 15:09 ?        00:00:00 [kpktgend_1]
root      1612     2  0 15:09 ?        00:00:00 [kpktgend_2]
root      1613     2  0 15:09 ?        00:00:00 [kpktgend_3]

前面也讲到过，pktgen的配置和统计是通过proc文件来完成的，加载pktgen模块后pktgen 的proc文件（在/proc/net/pktgen目录下），kpktgend_x是对应的内核线程的信息，pgctl用来控制pktgen的开始和关闭

kpktgend_0  kpktgend_1  kpktgend_2  kpktgend_3  pgctrl

pktgen使用

将某个端口（如eth0）放到对应的内核线程中配置发送报文的字段

[root@localhost pktgen]# cat kpktgend_1
Running: 
Stopped: eth0 
Result: OK: add_device=eth01echo rem_device_all>kpktgend_1  //为了安全起见，最好先删除绑定在某个线程(kpktgend_1)的所有端口 2echo add_device eth0>kpktgend_1  //添加某个端口(eth1)到某个线程(kpktgend_0) 

添加端口后kpktgend_x的信息是

[root@localhost pktgen]# ls
eth0  kpktgend_0  kpktgend_1  kpktgend_2  kpktgend_3  pgctrlh0 

增加端口后，pktgen目录下也会创建一个和端口同名的文件，如ethx

[root@localhost pktgen]# ls 
eth0  kpktgend_0  kpktgend_1  kpktgend_2  kpktgend_3  pgctrl 

配置发送报文的字段

echo count 1000>eth0 //发送数据包的个数，0 表示一直发送
echo clone_skb 0>eth0 //表示复制多少数据包，clone_skb=1000，克隆1000报文；clone_skb=0表示不克隆，就是一直发送同一个报文。
echo pkt_size 1000>eth0
echo dst 192.168.192.33>eth0
echo dst_mac 00:15:5d:4b:19:b1>eth0

启动pktgen

echo start>pgctrl 

查看统计信息

[root@localhost pktgen]# cat eth0 
Params: count 1000  min_pkt_size: 58  max_pkt_size: 58
     frags: 0  delay: 0  clone_skb: 0  ifname: eth0
     flows: 0 flowlen: 0
     queue_map_min: 0  queue_map_max: 0
     dst_min: 192.168.192.33  dst_max: 
     src_min:   src_max: 
     src_mac: 00:15:5d:01:70:01 dst_mac: 00:15:5d:4b:19:b1
     udp_src_min: 9  udp_src_max: 9  udp_dst_min: 9  udp_dst_max: 9
     src_mac_count: 0  dst_mac_count: 0
     Flags: 
Current:
     pkts-sofar: 1000  errors: 0
     started: 3424209348us  stopped: 3424219341us idle: 9324us
     seq_num: 1001  cur_dst_mac_offset: 0  cur_src_mac_offset: 0
     cur_saddr: 192.168.192.45  cur_daddr: 192.168.192.33
     cur_udp_dst: 9  cur_udp_src: 9
     cur_queue_map: 0
     flows: 0
Result: OK: 9992(c668+d9324) usec, 1000 (58byte,0frags)
  100072pps 46Mb/sec (46433408bps) errors: 0

pktgen参数

摘自https://www.kernel.org/doc/Documentation/networking/pktgen.txt

测试网络PPS性能，可以通过配置ratep来指定报文发送速率。

Current commands and configuration options
==========================================
** Pgcontrol commands:
start
stop
reset
** Thread commands:
add_device
rem_device_all
** Device commands:
count
clone_skb
burst
debug
frags
delay
src_mac_count
dst_mac_count
pkt_size
min_pkt_size
max_pkt_size
queue_map_min
queue_map_max
skb_priority
tos           (ipv4)
traffic_class (ipv6)
mpls
udp_src_min
udp_src_max
udp_dst_min
udp_dst_max
node
flag
  IPSRC_RND
  IPDST_RND
  UDPSRC_RND
  UDPDST_RND
  MACSRC_RND
  MACDST_RND
  TXSIZE_RND
  IPV6
  MPLS_RND
  VID_RND
  SVID_RND
  FLOW_SEQ
  QUEUE_MAP_RND
  QUEUE_MAP_CPU
  UDPCSUM
  IPSEC
  NODE_ALLOC
  NO_TIMESTAMP
spi (ipsec)
dst_min
dst_max
src_min
src_max
dst_mac
src_mac

clear_counters
src6
dst6
dst6_max
dst6_min
flows
flowlen
rate
ratep
xmit_mode <start_xmit|netif_receive>

vlan_cfi
vlan_id
vlan_p

svlan_cfi
svlan_id
svlan_p

pktgen脚本

上面的配置稍微有些复杂，对运维人员不太友好，github上提供了更为方便的pktgen的脚本

https://github.com/netoptimizer/network-testing/tree/master/pktgen - Connect to preview

里面提供了多种pktgen的例子，最常用的是pktgen_sample01_simple.sh和pktgen_sample02_multiqueue.sh，

drwxr-xr-x 1 mrwuzs 197121    0 Mar 12 15:24 ./
drwxr-xr-x 1 mrwuzs 197121    0 Mar 12 14:23 ../
-rw-r--r-- 1 mrwuzs 197121 1843 Mar 12 14:23 README.rst
-rw-r--r-- 1 mrwuzs 197121 4219 Mar 12 14:23 functions.sh
-rw-r--r-- 1 mrwuzs 197121 3037 Mar 12 14:23 parameters.sh
-rwxr-xr-x 1 mrwuzs 197121 2840 Mar 12 14:23 pktgen_bench_xmit_mode_netif_receive.sh*
-rwxr-xr-x 1 mrwuzs 197121 1995 Mar 12 14:23 pktgen_bench_xmit_mode_queue_xmit.sh*
-rwxr-xr-x 1 mrwuzs 197121 2029 Mar 12 14:23 pktgen_sample01_simple.sh*
-rwxr-xr-x 1 mrwuzs 197121 2329 Mar 12 14:23 pktgen_sample02_multiqueue.sh*
-rwxr-xr-x 1 mrwuzs 197121 2740 Mar 12 14:23 pktgen_sample03_burst_single_flow.sh*
-rwxr-xr-x 1 mrwuzs 197121 2665 Mar 12 14:23 pktgen_sample04_many_flows.sh*
-rwxr-xr-x 1 mrwuzs 197121 2411 Mar 12 14:23 pktgen_sample05_flow_per_thread.sh*
-rwxr-xr-x 1 mrwuzs 197121 3219 Mar 12 14:23 pktgen_sample06_numa_awared_queue_irq_affinity.sh*
-rwxr-xr-x 1 mrwuzs 197121 3641 Mar 12 14:23 unit_test01_race_add_rem_device_loop.sh*1drwxr-xr-x 1 mrwuzs 197121    0 

刚才的配置就可以简单化成一条命令，更加方便

./pktgen_sample01_simple.sh -i eth0 -m  00:15:5d:4b:19:b1 -d 192.168.192.33 -t 1 -n 1000

该脚本支持的参数
该脚本是通用脚本，部分参数不支持，需要做简单修改

Usage: ./pktgen_sample01_simple.sh [-vx] -i ethX
  -i : ($DEV)       output interface/device (required)
  -s : ($PKT_SIZE)  packet size
  -d : ($DEST_IP)   destination IP
  -m : ($DST_MAC)   destination MAC-addr
  -t : ($THREADS)   threads to start
  -f : ($F_THREAD)  index of first thread (zero indexed CPU number)
  -c : ($SKB_CLONE) SKB clones send before alloc new SKB
  -n : ($COUNT)     num messages to send per thread, 0 means indefinitely
  -b : ($BURST)     HW level bursting of SKBs
  -v : ($VERBOSE)   verbose
  -x : ($DEBUG)     debug
  -6 : ($IP6)       IPv6

用pktgen测试网络PPS性能指标

测试的组网和iperf测试基本相同，客户端安装pktgen来发包，接收端通过sar命令（linux系统）来查看端口统计信息，通过对比收发两端的速率来判断是否有丢包。