Linux-Web应用服务性能测试初探

一、服务端与客户端的准备工作

　　对于服务器最想要的数据就是，每秒支持的并发数，以及相应的内存CPU使用情况。

　　服务端需要设置最大打开描述符的限制（以支持创建大量的socket），配置socket参数。客户端要产生大量的并发请求时，也有相应的参数需要设置。

　　可参考我的另一篇随笔：http://www.cnblogs.com/chang290/archive/2013/05/09/3069474.html

二、服务端主机主要参数监控

　　1、内存，可以使用top、vmstat监控，free

　　　　vmstat可参考：http://www.cnblogs.com/peida/archive/2012/12/25/2833108.html

　　　　top可参考：http://www.cnblogs.com/peida/archive/2012/12/24/2831353.html

　　　　free可参考：http://www.cnblogs.com/peida/archive/2012/12/25/2831814.html

　　2、磁盘IO的监控 iostat ，可参考：http://www.cnblogs.com/peida/archive/2012/12/28/2837345.html

　　3、网络IO的监控（若传输的数据较大，尽量采用千兆网连接以防止网络产生瓶颈），iftop 监控, 可参考：http://www.vpser.net/manage/iftop.html

　　4、系统负载 uptime

三、某些样例

　　1、当通过上述命令监控，发现内存充足，CPU空闲，并且IO也不满，那么很有可能就是网络IO瓶颈了，并发客户端的数据传不到服务器。

　　2、对于磁盘IO频繁的程序，当IO负载达到满时，无论增加在大的并发量也无济于事，可能的解决方法为增加磁盘分散来读写。另外要防止多线程大量并发读写磁盘这样会导致比单线程更慢。通常一个线程读，一个线程写，就足够了。增加线程一般不增加性能。

四、使用sar监控

　　如果系统没有安装sar，那么可以通过 yum install sysstat 安装，ubuntu安装 sudo apt-get install sysstat

　　sar命令格式为，sar [opt ] [interval] [count] [-o filename] [-f filename] 

　　opt表示sar支持的各种类型监控信息；

　　interval表示多长时间显示一次；

　　count表示总共显示次数，若没有该字段则一直监控不停止；

　　-o filename表示将数据写入到文件中； sar -P -ALL 1 -o ./all_cpu.txt

　　-f filename表示从指定文件中读取数据；sar -f ./all_cpu.txt; sar  -P ALL ./all_cpu.txt

　　1、监控CPU使用情况： sar -P ALL 1 (单独列出每个核心统计数据),

　　-P表示processor，后面可添加CPU列表也可以使用ALL表示所有，sar -P 0 1 #每秒显示第一个CPU的信息

11时06分28秒     CPU     %user     %nice   %system   %iowait    %steal     %idle
11时06分29秒     all      3.47      0.00      2.23      0.00      0.00     94.29
11时06分29秒       0      2.00      0.00      5.00      0.00      0.00     93.00
11时06分29秒       1      3.88      0.00      1.94      0.00      0.00     94.17
11时06分29秒       2      8.65      0.00      1.92      0.00      0.00     89.42
11时06分29秒       3      0.00      0.00      1.01      0.00      0.00     98.99

CPU    all 表示统计信息为所有 CPU 的平均值。
%user    显示在用户级别(application)运行使用 CPU 总时间的百分比。
%nice    改变优先级的进程所占用 CPU 总时间的百分比。
%system    在核心级别(kernel)运行所使用 CPU 总时间的百分比。
%iowait    显示用于等待I/O操作占用 CPU 总时间的百分比。
%steal    管理程序(hypervisor)为另一个虚拟进程提供服务而等待虚拟 CPU 的百分比。
%idle    显示 CPU 空闲时间占用 CPU 总时间的百分比。

　　对nice值的补充说明，参考自：http://blog.csdn.net/longdel/article/details/7317511。

　　进程的优先级由 pr+nice 决定，nice取值在-20～19之间。一个进程的nice值越高，那么其所占用的CPU就越少（由于privelge值越高，优先级越小），所以叫做nice。系统为了动态调整进程的CPU时间，因此会修改进程的nice取值。进程的nice cpu时间就表示为：假如调整前时间片为100，调整后为150，那么就是150-100/total。那么把所有进程的nice cu加起来就是这里的 %nice了。进程的nice取值可以通过nice，renice函数来修改。

　　sar -u 1(显示所有CPU的统计信息)

　　-u 表示CPU

11时23分41秒     CPU      %usr     %nice      %sys   %iowait    %steal      %irq     %soft    %guest     %idle
11时23分42秒     all     16.08      0.00      3.02      0.00      0.00      0.00      0.00      0.00     80.90
11时23分43秒     all      2.30      0.00      1.02      0.00      0.00      0.00      0.00      0.00     96.68

%irq 表示硬件中断服务时间
%soft 表示软件中断服务时间

　　2、磁盘IO统计信息：sar -d -p 1

　　-d 表示device显示每个块设备信息，-p表示以易读取方式显示DEV名称。

14时10分06秒       DEV       tps  rd_sec/s  wr_sec/s  avgrq-sz  avgqu-sz     await     svctm     %util
14时10分07秒    dev8-0      4.00      0.00     40.00     10.00      0.04     10.25      6.75      2.70

tps  每秒传输次数（多次逻辑请求可能被合并成一个IO请求，一次传输特定的大小）；
rd_sec/s 每秒读取的散区个数（散区为512字节）
wr_sec/s 每秒写入的散区个数（散区为512字节）
avgrq-sz average-request-size读写操作平均大小（以散区计算），可通过wr_sec+rd_sec/tps,计算出该值为10
avgqu-sz average-queue-size设备请求队列的平均长度
await 平均完成请求的等待时间，毫秒，包括在队列中等待时间与设备服务时间
svctm service-time设备的平均服务时间，毫秒（sar指出该值不可靠）
%util 设备处于服务状态的百分比，当该值接近100%则表示该设备使用饱和

　　说明：1）util值如果长时间很高表示IO已经满负荷运行。

　　2）队列等待时间：await-svctm 该值大表示IO请求有大量时间处于队列中等待，也就是请求过多，可以考虑合并IO请求。

　　3）avgrq-sz 值可以看出对IO操作的数据大小，很小很频繁的IO操作将导致占用大量的设备随机寻址时间。

例子（10个线程，拷贝同一个100MB 文件，到不同的目标文件，每次读写10字节）：
14时45分37秒       DEV       tps  rd_sec/s  wr_sec/s  avgrq-sz  avgqu-sz     await     svctm     %util
14时45分38秒       sda    156.00      0.00  43504.00    278.87     52.84    338.72      4.59     71.60

14时45分38秒       DEV       tps  rd_sec/s  wr_sec/s  avgrq-sz  avgqu-sz     await     svctm     %util
14时45分39秒       sda      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00

14时45分39秒       DEV       tps  rd_sec/s  wr_sec/s  avgrq-sz  avgqu-sz     await     svctm     %util
14时45分40秒       sda      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00

14时45分40秒       DEV       tps  rd_sec/s  wr_sec/s  avgrq-sz  avgqu-sz     await     svctm     %util
14时45分41秒       sda     12.00      0.00    208.00     17.33      0.14     12.00      9.67     11.60

例子（10个线程，拷贝同一个100MB 文件，到不同的目标文件，每次读写10K字节）：
14时46分27秒       DEV       tps  rd_sec/s  wr_sec/s  avgrq-sz  avgqu-sz     await     svctm     %util
14时46分28秒       sda    107.00      0.00  68312.00    638.43     74.46    660.79      9.35    100.00

14时46分28秒       DEV       tps  rd_sec/s  wr_sec/s  avgrq-sz  avgqu-sz     await     svctm     %util
14时46分29秒       sda     84.00      0.00  64112.00    763.24     64.08    686.57     11.90    100.00

14时46分29秒       DEV       tps  rd_sec/s  wr_sec/s  avgrq-sz  avgqu-sz     await     svctm     %util
14时46分30秒       sda    104.00      0.00  75368.00    724.69     64.06    681.23      9.62    100.00

从上述两种方式读取文件方式：1）await后者明显比较大，表示大量的请求被放到queue中等待执行。2）svctm却没有明显变化，表示虽然每次磁盘读写较小，但是服务时间没有明显的差别。3）util后者100，可见前一种方式对磁盘的使用效率高。

　　类似命令：iostat

　　3、网络性能 sar -n DEV 1

　　-n表示network，

　　DEV表示显示网卡的统计信息，

　　EDEV表示显示网卡的失败信息，

　　NFS表示NFS客户端活动的统计，NFSD表示服务端活动的统计

　　SOCK表示IPV4使用的套接字数量信息（查看系统当前打开的套接字数量）

14时53分43秒     IFACE   rxpck/s   txpck/s    rxkB/s    txkB/s   rxcmp/s   txcmp/s  rxmcst/s
14时53分44秒        lo      2.02      2.02      0.19      0.19      0.00      0.00      0.00
14时53分44秒       em1    139.39    127.27    155.85     10.38      0.00      0.00      0.00
14时53分44秒       em2      0.00      0.00      0.00      0.00      0.00      0.00      0.00

IFACE     接口名称
rxpck/s    每秒接收到的包个数 received
txpck/s    每秒发送的报个数 transmitted
rxkB/s    每秒接收的kB数
txkB/s    每秒发送的kB数
rxmcst/s    每秒接收到的广播包个数

　　说明：1）如何确定一个链路的带宽，由于链路带宽取决于两端网卡以及中间路由的带宽，因此在网络稳定的情况下使用scp拷贝大文件的方式查看每秒传输量，是比较可靠的方式。

　　2)可以使用dmesg | grep -i eth，来查看机器网卡的信息，如：Link is up at 100 Mbps, full duplex，则表示100Mb全双工，理论上上行下行都能达到100Mb，但是由于CPU，磁盘IO等原因实际上很难达到。

scp dest_3 root@10.0.0.1:/root/soft
dest_3                                         100%  107MB  11.9MB/s   00:09    
表示每秒传输11.9MB，两端的带宽大致为100Mb

　　2）平均包大小，传输中如果包很小，很显然会影响传输效率，使用 rxkB/rxpck ; txkB/txpck 可以得到读与写的平均包大小。

　　类似命令：ifstat http://gael.roualland.free.fr/ifstat/ 可以查看到内容与sar -n 差不多； iftop http://www.ex-parrot.com/pdw/iftop/ 可以查看到具体某个IP使用的流量。

　　4、套接字使用量  cat /proc/net/sockstat； sar -n SOCK 

sockets: used 5363
TCP: inuse 36 orphan 0 tw 0 alloc 40 mem 20
UDP: inuse 26 mem 20
UDPLITE: inuse 0
RAW: inuse 0
FRAG: inuse 0 memory 0

sockets 表示套接字总使用量
tcp inuse 当前使用的tcp数量 orphan 无主（待关闭）数量 tw 处于timewait数量 alloc 已建立连接数 mem
UDP inuse 当前的UDP连接数 mem

　　参考自：http://www.cnblogs.com/jankie/archive/2013/01/30/2882441.html

　　附注：linux查看机器网卡参数：

　　ethtool eth0   查看速度等各种属性

　　lspci|grep -i ether  查看设备产商等

　　dmesg |grep -i eth 查看系统加载网卡时的信息

　　

　　8、进程队列长度与平均负载  sar -q 1

　　-q 表示queue，表示系统的任务队列以及负载

　　关于负载其他查看方法：top、uptime、cat /proc/loadavg

16时52分49秒   runq-sz  plist-sz   ldavg-1   ldavg-5  ldavg-15   blocked
16时52分50秒         0       619      0.51      0.94      0.84         0
16时52分51秒         2       619      0.51      0.94      0.84         0
16时52分52秒         1       619      0.47      0.92      0.84         0
16时52分53秒         1       619      0.47      0.92      0.84         0
16时52分54秒         3       619      0.47      0.92      0.84         0

runq-sz：运行队列的长度（等待运行的进程数）
plist-sz：进程列表中进程（processes）和线程（threads）的数量
ldavg-1：最后1分钟的系统平均负载（System load average）
ldavg-5：过去5分钟的系统平均负载
ldavg-15：过去15分钟的系统平均负载

　　说明：1）关于负载的数值，0～cpu和数之间，如果四核则合理值为4.0；2）cpu核数查看，top 然后输入1；grep 'model name' /proc/cpuinfo；

　　grep 'processor' /proc/cpuinfo +1；

 9、按照进程对资源占用进行排序

　　1）根据内存占用排序  top后使用M

　　2）根据CPU占用排序 top后使用P

　　3）根据IO使用进行排序

　　　　iotop： Iotop is a Python program with a top like UI used to show of behalf of which process is the I/O going on. It requires Python ≥ 2.7 and a Linux kernel ≥ 2.6.20 with the TASK_DELAY_ACCT CONFIG_TASKSTATS, TASK_IO_ACCOUNTING and CONFIG_VM_EVENT_COUNTERS options on.

 　　　　http://guichaz.free.fr/iotop/

参考资料：

http://www.cnblogs.com/jankie/archive/2013/01/30/2882441.html

http://os.51cto.com/art/201005/200672_all.htm

http://www.cnblogs.com/ggjucheng/archive/2013/01/13/2858923.html