zoukankan      html  css  js  c++  java
  • ab压力测试工具-批量压测脚本

    ab(Apache benchmark)是一款常用的压力测试工具。简单易用,ab的命令行一次只能支持一次测试。如果想要批量执行不同的测试方式,并自动对指标进行分析,那么单靠手工一条一条命令运行ab,估计会疯的。so,那么问题来了,批量模式怎么实现。

    一、脚本说明                                                                                             
    本脚本支持ab大多常用参数,如果你需要更多参数,可以通过修改本脚本,加入你想要的即可。本脚本的特色:
    1,批量测试。注意,并不是简单的批量测试,你可以定测测试轮数,间隔时间。
    2,阶梯并发增长定制测试,如并发从100到1000,每轮测5次等。
    3,支持ab的post file模式,你只要在参数-P | --postfile中带上你的数据文件即可。
    4,压测完指标分析显示,本shell可以将ab中常用的指示即时分析出来。
    5,ab-test-tools.sh 脚本说明:
    命令格式:
    -N|--count 总请求数,缺省 : 5w
    -C|--clients 并发数, 缺省 : 100
    -R|--rounds 测试次数, 缺省 : 10 次
    -S|-sleeptime 间隔时间, 缺省 : 10 秒
    -I|--min 最小并发数, 缺省: 0
    -X|--max 最大并发数,缺省: 0
    -J|--step 次递增并发数
    -T|--runtime 总体运行时间,设置此项时最大请求数为5w
    -P|--postfile post数据文件路径
    -U|--url 测试地址

    二、脚本代码                                                                                              

    #!/bin/bash
    echo '*==========================================================*'
    echo '|  本脚本工具基于ab(Apache benchmark),请先安装好ab, awk   |'
    echo '|  注意:                                                  |'    
    echo '|     shell默认最大客户端数为1024                          |'
    echo '|     如超出此限制,请使用管理员执行以下命令:             |'
    echo '|     ulimit -n 655350                                 |'
    echo '*==========================================================*'
    
    function usage() {
        echo '  命令格式:'
        echo '  ab-test-tools.sh'
        echo '      -N|--count 总请求数,缺省 : 5w'
        echo '      -C|--clients 并发数, 缺省 : 100'
        echo '      -R|--rounds 测试次数, 缺省 : 10 次'
        echo '      -S|-sleeptime 间隔时间, 缺省 : 10 秒'
        echo '      -I|--min 最小并发数, 缺省: 0'
        echo '      -X|--max 最大并发数,缺省: 0'
        echo '      -J|--step 次递增并发数'
        echo '      -T|--runtime 总体运行时间,设置此项时最大请求数为5w' 
        echo '      -P|--postfile post数据文件路径'
        echo '      -U|--url 测试地址'
        echo ''
        echo '  测试输出结果*.out文件'
    
        exit;
    }
    
    
    # 定义默认参数量
    # 总请求数
    count=50000
    # 并发数
    clients=100O
    # 测试轮数
    rounds=10
    # 间隔时间
    sleeptime=10
    # 最小并发数
    min=0
    # 最大数发数
    max=0
    # 并发递增数
    step=0
    # 测试地址
    url=''
    # 测试限制时间
    runtime=0
    # 传输数据
    postfile=''
    
    
    ARGS=`getopt -a -o N:C:R:S:I:X:J:U:T:P:h -l count:,client:,round:,sleeptime:,min:,max:,step:,runtime:,postfile:,help -- "$@"`
    [ $? -ne 0 ] && usage
    eval set -- "${ARGS}" 
    
    while true 
    do
        case "$1" in
        -N|--count)
            count="$2"
            shift
            ;;
            
        -C|--client)
            clients="$2"
            shift
            ;;
    
        -R|--round)
            rounds="$2"
            shift
            ;;
    
        -S|--sleeptime)
            sleeptime="$2"
            shift
            ;;
    
        -I|--min)
            min="$2"
            shift
            ;;
    
        -X|--max)
            max="$2"
            shift
            ;;
    
        -J|--step)
            step="$2"
            shift
            ;;
    
        -U|--url)
            url="$2"
            shift
            ;;
    
        -T|--runtime)
            runtime="$2"
            shift
            ;;
    
        -P|--postfile)
            postfile="$2"
            shift
            ;;
    
        -h|--help)
            usage
            ;;
    
        --)
            shift
            break
            ;;
        esac
    shift
    done
    
    # 参数检查
    if [ x$url = x ]
    then
        echo '请输入测试url,非文件/以为结束'
        exit
    fi
    
    flag=0
    if [ $min != 0 -a $max != 0 ]
    then 
        if [ $max -le $min ] 
        then
            echo '最大并发数不能小于最小并发数'
            exit
        fi
    
        if [ $step -le 0 ]
        then
            echo '并发递增步长不能<=0'
            exit
        fi
    
        if [ $min -lt $max ]
        then
            flag=1
        fi
    fi
    
    
    # 生成ab命令串
    cmd="ab -k -r"
    
    # 数据文件
    if [ x$postf != x ]
    then
        cmd="$cmd -p $postf"
    fi
    
    if [ x$tl != x -a $tl != 0 ]
    then 
        max=50000;
        cmd="$cmd -t$tl"
    fi
    cmd="$cmd -n$count"
    
    echo '-----------------------------';
    echo '测试参数';
    echo "  总请求数:$count";
    echo "  并发数:$clients";
    echo "  重复次数:$rounds 次";
    echo "  间隔时间:$sleeptime 秒";
    echo "  测试地址:$url";
    
    if [ $min != 0 ];then
    echo "  最小并发数:$min";
    fi
    
    if [ $max != 0 ];then
    echo "  最大并发数:$max";
    fi
    
    if [ $step != 0 ];then
    echo " 每轮并发递增:$step" 
    fi
    
    
    # 指定输出文件名
    datestr=`date +%Y%m%d%H%I%S`
    outfile="$datestr.out";
    
    # runtest $cmd $outfile $rounds $sleeptime
    function runtest() {
        # 输出命令
        echo "";
        echo '  当前执行命令:'
        echo "  $cmd"
        echo '------------------------------'
    
        # 开始执行测试
        cnt=1
        while [ $cnt -le $rounds ];
        do
            echo "第 $cnt 轮 开始"
            $cmd >> $outfile 
            echo "
    
    " >> $outfile
            echo "第 $cnt 轮 结束"
            echo '----------------------------'
    
            cnt=$(($cnt+1))
    
            if [ $cnt -le $rounds ]; then
                echo "等待 $sleeptime 秒"
                sleep $sleeptime
            fi 
        done
    }
    
    
    temp=$cmd;
    if [ $flag != 0 ]; then
        cur=$min
        over=0
        while [ $cur -le $max ]
        do
            cmd="$temp -c$cur $url"
            runtest $cmd $outfile $rounds $sleeptime 
    
            cur=$(($cur+$step))
            if [ $cur -ge $max -a $over != 1 ]; then
               cur=$max 
               over=1
            fi
        done
    else 
        cmd="$cmd -c$clients $url"
        runtest $cmd $outfile $rounds $sleeptime 
    fi
    
    
    # 分析结果
    if [ -f $outfile ]; then
    echo '本次测试结果如下:'
    echo '+------+----------+----------+---------------+---------------+---------------+--------------------+--------------------+'
    echo '| 序号 | 总请求数 |  并发数  |   失败请求数  |   每秒事务数  |  平均事务(ms) | 并发平均事务数(ms) |   总体传输字节数  |'
    echo '+------+----------+----------+---------------+---------------+---------------+--------------------+--------------------+'
    
    comp=(`awk '/Complete requests/{print $NF}' $outfile`) 
    concur=(`awk '/Concurrency Level:/{print $NF}' $outfile`)
    fail=(`awk '/Failed requests/{print $NF}' $outfile`)
    qps=(`awk '/Requests per second/{print $4F}' $outfile`)
    tpr=(`awk '/^Time per request:(.*)(mean)$/{print $4F}' $outfile`)
    tpr_c=(`awk '/Time per request(.*)(mean, across all concurrent requests)/{print $4F}' $outfile`)
    trate=(`awk '/Transfer rate/{print $3F}' $outfile`)
    
    for ((i=0; i<${#comp[@]}; i++))
    do
        echo -n "|"
        printf '%6s' $(($i+1)) 
        printf "|"
    
        printf '%10s' ${comp[i]}
        printf '|'
        
        printf '%10s' ${concur[i]}
        printf '|'
    
        printf '%15s' ${fail[i]}
        printf '|'
    
        printf '%15s' ${qps[i]}
        printf '|'
    
        printf '%15s' ${tpr[i]}
        printf '|'
    
        printf '%20s' ${tpr_c[i]}
        printf '|'
    
        printf '%20s' ${trate[i]}
        printf '|'
    
        echo '';
        echo '+-----+----------+----------+---------------+---------------+---------------+--------------------+--------------------+'
    done
    echo ''
    fi

    三、测试示例                                                                                             

    sh ab-test-tool.sh -N 100000 -C 100 -R 2 -I 100 -X 500 -J 80 -S 5 -U 'http://...'

    四、注意事项                                                                                                                  

    1,每次测试结果以“yymmddhhiiss.out"存放在脚本所在目录,因此请保持脚本目录可写。

    2,ab的所有输出结果均可在.out中查到。测试结果只是展示部份指标,需要详细的可以在.out文件中查看

    3,查看使用帮助可使用-h/–help。

    4,linux终端默认1024限制,如需大于此数,请使用管理员执行:"ulimit -n 655350"

    五、ab信息说明                                                                                        

    Server Software:        web服务器软件及版本
    Server Hostname:        表示请求的URL中的主机部分名称
    Server Port:            被测试的Web服务器的监听端口
     
    Document Path:          请求的页面路径
    Document Length:        页面大小
     
    Concurrency Level:      并发数
    Time taken for tests:   测试总共花费的时间
    Complete requests:      完成的请求数
    Failed requests:        失败的请求数,这里的失败是指请求的连接服务器、发送数据、接收数据等环节发生异常,以及无响应后超时的情况。对于超时时间的设置可以用ab的-t参数。如果接受到的http响应数据的头信息中含有2xx以外的状态码,则会在测试结果显示另一个名为“Non-2xx responses”的统计项,用于统计这部分请求数,这些请求并不算是失败的请求。
    Write errors:           写入错误
    Total transferred:      总共传输字节数,包含http的头信息等。使用ab的-v参数即可查看详细的http头信息。
    HTML transferred:       html字节数,实际的页面传递字节数。也就是减去了Total transferred中http响应数据中头信息的长度。
    Requests per second:    每秒处理的请求数,服务器的吞吐量,等于:Complete requests / Time taken for tests
    Time per request:       平均数,用户平均请求等待时间
    Time per request:       服务器平均处理时间
    Transfer rate:          平均传输速率(每秒收到的速率)。可以很好的说明服务器在处理能力达到限制时,其出口带宽的需求量。
     
    Connection Times (ms) 压力测试时的连接处理时间。
                  min  mean[+/-sd] median   max
    Connect:        0   67 398.4      9    3009 
    Processing:    49 2904 2327.2   2755   12115
    Waiting:       48 2539 2075.1   2418   12110
    Total:         53 2972 2385.3   2789   12119

    Failed requests原因分析

    Failed requests: 2303
    (Connect: 0, Length: 2303, Exceptions: 0)
    只要出现Failed requests就会多一行数据来统计失败的原因,分别有Connect、Length、Exceptions。
    Connect 无法送出要求、目标主机连接失败、要求的过程中被中断。
    Length 响应的内容长度不一致 ( 以 Content-Length 头值为判断依据 )。
    Exception 发生无法预期的错误。

    参考:文章中有一部分内容来源网络,以后补充

    由于本人经验有限,文章中难免会有错误,请浏览文章的您指正或有不同的观点共同探讨!

  • 相关阅读:
    java正则表达式语法详解及其使用代码实例 (转)
    【SpringMVC学习09】SpringMVC与前台的json数据交互 (转)
    SpringMVC基于代码的配置方式(零配置,无web.xml)
    倒车入库操作要求
    R通过RJDBC连接外部数据库 (转)
    卡尔曼滤波——11.预测峰值
    卡尔曼滤波——10.均值漂移
    卡尔曼滤波——6.评估高斯分布
    神经网络入门——16实现一个反向传播
    神经网络入门——15反向传播
  • 原文地址:https://www.cnblogs.com/exceptioneye/p/5179763.html
Copyright © 2011-2022 走看看