zoukankan      html  css  js  c++  java
  • 07丨案例:编写最简单的性能脚本

    通常我们会遇到要手写脚本的时候,就要针对一些接口编写脚本。这时候,我们需要知道接口规范和后台的数据是什么。而有些性能测试工程师写脚本时,并不知道后端的逻辑,只知道实现脚本,事实上,只知道实现脚本是远远不够的。

    在这一篇文章中,我不打算讲复杂的内容,只想针对新手写一步步的操作,描述最简单的脚本编写。如果你已经具有丰富的脚本编写经验,会觉得本文很简单。

    我没有打算把JMeter的功能点一一罗列出来,作为一个性能测试的专栏,不写一下脚本的实现似乎不像个样子。在脚本实现中,我们最常用的协议就是HTTP和TCP了吧,所以在今天的内容里,我简单地说一下如何编写HTTP和TCP脚本,以应测试主题。

    我先画个图说明一下。

    这样的图做性能的人一定要知道,相信很多人也画的出来。

    我们知道HTTP是应用层的协议之一,现在很多场景都在用它,并且是用的HTTP1.1的版本,对应的是RFC2616,当然还有补充协议RFC7231、6265。

    HTTP中只规定了传输的规则,规定了请求、响应、连接、方法、状态定义等。我们写脚本的时候,必须符合这些规则。比如为什么要在脚本中定义个Header?Header里为什么要那样写?这些在RFC中都说得明明白白了。

    还有一点也需要注意,HTTP是通过Socket来使用TCP的,Socket做为套接层API,它本身不是协议,只规定了API。

    而我们通常在JMeter中写TCP脚本,就是直接调用Socket层的API。TCP脚本和HTTP脚本最大的区别就是,TCP脚本中发送和接收的内容完全取决于Socket server是怎么处理的,并没有通用的规则。所以脚本中也就只有根据具体的项目来发挥了。

    手工编写HTTP脚本

    服务端代码逻辑说明

    我们先自己编写一小段服务端代码的逻辑。现在用Spring Boot写一个示例,其实就是分分钟的事情。我们做性能测试的人至少要知道访问的是什么东西。

    Controller关键代码如下:

    @RestController
    @RequestMapping(value = "pa")
    public class PAController {
    
      @Autowired
      private PAService paService;
    
      //查询
      @GetMapping("/query/{id}")
      public ResultVO<User> getById(@PathVariable("id") String id) {
        User user = paService.getById(id);
        return ResultVO.<User>builder().success(user).build();
      }
    }
    

    Service关键代码如下:

      public User getById(String id) {
        return mapper.selectByPrimaryKey(id);
      }
    

    用MyBatis组件实现对Mapper的操作。由于不是基础开发教程,这里只是为了说明逻辑,如果你感兴趣的话,可以自己编写一个接口示例。

    逻辑调用关系如下:

    数据库中表的信息如下:

    我们先看这个接口的访问逻辑:JMeter——SprintBoot的应用——MySQL。

    1.编写JMeter脚本

    1.1 创建线程组

    首先创建一个线程组,配置如下:

    在这个线程组中,有几个关键配置,我来一一说明一下。

    Number of Threads(users):我们都知道这是JMeter中的线程数,也可以称之为用户数。但是在第2篇文章中,我已经说得非常明确了,这个线程数是产生TPS的,而一个线程产生多少TPS,取决于系统的响应时间有多快。所以我们用TPS这个概念来承载系统的负载能力,而不是用这里的线程数。

    Ramp-up Period(in seconds):递增时间,以秒为单位。指的就是上面配置的线程数将在多长时间内会全部递增完。如果我们配置了100线程,这里配置为10秒,那么就是100/(10s*1000ms)=1线程/100ms;如果我们配置了10线程,这里配置为1秒,则是10/1000=1线程/100ms。这时我们要注意了哦,在10线程启动的这个阶段中,对服务器的压力是一样的。示意图如下:

    Loop Count这个值指的是一个线程中脚本迭代的次数。这里你需要注意,这个值和后面的Scheduler有一个判断关系,下面我们会提到。

    Delay Thread creation until needed:这个含义从字面看不是特别清楚。这里有一个默认的知识点,那就是JMeter所有的线程是一开始就创建完成的,只是递增的时候会按照上面的规则递增。如果选择了这个选项,则不会在一开始创建所有线程,只有在需要时才会创建。这一点和LoadRunner中的初始化选项类似。只是不知道你有没有注意过,基本上,我们做性能测试的工程师,很少有选择这个选项的。选与不选之间,区别到底是什么呢?

    如果不选择,在启动场景时,JMeter会用更多的CPU来创建线程,它会影响前面的一些请求的响应时间,因为压力机的CPU在做其他事情嘛。

    如果选择了的话,就会在使用时再创建,CPU消耗会平均一些,但是这时会有另一个隐患,就是会稍微影响正在跑的线程。这个选项,选择与否,取决于压力机在执行过程中,它能产生多大的影响。如果你的线程数很多,一旦启动,压力机的CPU都被消耗在创建线程上了,那就可以考虑选择它,否则,可以不选择。

    Scheduler Configuration:这里有一句重要的话,If Loop Count is not -1 or Forever, duration will be min(Duration, Loop Count * iteration duration)。举例来说,如果设置了Loop Count 为100,而响应时间是0.1秒,那么Loop Count * iteration duration(这个就是响应时间) = 100 * 0.1 = 10秒

    即便设置了Scheduler的Duration为100秒,线程仍然会以10秒为结束点。

    如果没有设置Scheduler的Duration,那么你会看到,在JMeter运行到10秒时,控制台中会出现如下信息:

      2019-11-26 10:39:20,521 INFO o.a.j.t.JMeterThread: Thread finished: Thread Group 1-10
    

    有些人不太理解这一点,经常会设置迭代次数,同时又设置Scheduler中的Duration。而对TPS来说,就会产生这样的图:

    场景没执行完,结果TPS全掉下去了,于是开始查后端系统,其实和后端没有任何关系。

    1.2 创建HTTP Sampler

    1.2.1 GET接口

    看上图,我将Method选择为GET。为什么要选择它?往上看我们的接口注解,这是一个GetMapping,所以这里要选择GET。

    再看path中,这里是/pa/query/0808050c-0ae0-11ea-af5f-00163e124cff,对应着“/query/{id}”

    然后执行:

    User user = paService.getById(id);
    

    返回执行结果:

    return ResultVO.<User>builder().success(user).build();
    

    为什么要解释这一段呢?

    做开发的人可能会觉得,你这个解释毫无意义呀,代码里已经写得很清楚了。事实上,在我的工作经历中,会发现很多做性能测试脚本的,实际上并不知道后端采用了什么样的技术,实现的是什么样的逻辑。

    所以还是希望你可以自己写一些demo,去了解一些逻辑,然后在排除问题的时候,就非常清楚了。

    接着我们执行脚本,就得到了如下结果:

    这样一个最简单的GET脚本就做好了。

    前面我们提到过,URL中的ID是0808050c-0ae0-11ea-af5f-00163e124cff,这个数据来自于数据库中的第一条。

    如果我们随便写一个数据,会得到什么结果呢?

    你会看到,结果一样得到了200的code,但是这个结果明显就不对了,明明没有查到,还是返回了成功。

    所以说,业务的成功,只能靠业务来判断。这里只是查询成功了,没返回数据也是查询成功了。我将在后面给你说明如何加断言。

    1.2.2 POST接口

    下面我将Method改为POST,POST接口与GET接口的区别有这么几处:

    1. 要把Path改为/pa/add;
    2. 输入JSON格式的Body Data。

    执行起来,查看下结果。


    你会发现上来就错了,提示如下:

    "status":415,"error":"Unsupported Media Type","message":"Content type 'text/plain;charset=UTF-8' not supported"
    

    这里你需要注意,无论遇到什么问题,都要针对问题来处理。当看不懂问题信息时,先查资料,想办法看懂。这是处理问题的关键,我发现很多做性能测试的新同学,一旦碰到问题就懵了,晕头转向地瞎尝试。

    我经常对我的团队成员说,先看懂问题,再处理问题,别瞎蒙!

    上面这个问题其实提示得很清楚:“不支持的媒体类型”。这里就两个信息,一个是Content type,一个是charset。它们是JMeter中HTTP Header里默认自带的。我们要发送的是JSON数据,而JMeter默认是把它当成text发出去的,这就出现了问题。所以我们要加一个Header,将Content type指定为JSON。

    加一个HTTP Header,如下所示:

    如果你不知道加什么样的Header,建议你用HTTP抓包工具抓一个看一看,比如说用Charles,抓到如下信息:

    这时你就会知道头里的Content-Type原来是application/json;charset=UTF-8。这里的charset=UTF-8可以不用写,因为它和默认的一样。

    这时再回放,你就会看到如下结果:

    到此,一个POST脚本就完成了。是不是很简单。

    在这里,我需要跟你强调的是,手工编写HTTP脚本时,要注意以下几点:

    1. 要知道请求的类型,我们选择的类型和后端接口的实现类型要是一致的。
    2. 业务的成功要有明确的业务判断(在下面的TCP中,我们再加断言来判断)。
    3. 判断问题时,请求的逻辑路径要清晰。

    编写完HTTP脚本时,我们再来看一下如何编写TCP脚本。

    手工编写TCP脚本

    服务端代码逻辑说明

    我在这里写一个非常简单的服务端接收线程(如果你是开发,不要笑话,我只是为了说明脚本怎么写)。

    package demo.socket;
    
    import java.io.IOException;
    import java.io.InputStream;
    import java.io.OutputStream;
    import java.net.ServerSocket;
    import java.net.Socket;
    import java.util.concurrent.ArrayBlockingQueue;
    import java.util.concurrent.ThreadPoolExecutor;
    import java.util.concurrent.TimeUnit;
    
    public class SocketReceiver {
      //定义初始
      public static final int corePoolSize = 5;
      //定义最大线程池
      public static final int maximumPoolSize = 5;
      //定义socket队列长度
      public static final int blockingQueue = 50;
    
    
      /**
       * 初始化并启动服务
       */
      public void init() {
        //定义线程池
        ThreadPoolExecutor executor = new ThreadPoolExecutor(corePoolSize, maximumPoolSize, 0L,
            TimeUnit.MILLISECONDS, new ArrayBlockingQueue(blockingQueue));
        //定义serverSocket
        ServerSocket serverSocket = null;
        try {
          //启动serverSocket
          serverSocket = new ServerSocket(Constants.PORT);
          //输出服务启动地址
          System.out.println("服务已启动:" + serverSocket.getLocalSocketAddress().toString());
          //接收信息并传递给线程池
          while (true) {
            Socket socket = serverSocket.accept();
            executor.submit(new Handler(socket));
          }
        } catch (IOException e) {
          e.printStackTrace();
        } finally {
          if (serverSocket != null) {
            try {
              serverSocket.close(); //释放serverSocket
            } catch (IOException e) {
              e.printStackTrace();
            }
          }
        }
      }
    
      //处理请求类
      class Handler implements Runnable {
    
        private Socket socket;
    
        public Handler(Socket socket) {
          this.socket = socket;
        }
    
        public void run() {
          try {
            // 接收客户端的信息
            InputStream in = socket.getInputStream();
            int count = 0;
            while (count == 0) {
              count = in.available();
            }
            byte[] b = new byte[count];
            in.read(b);
            String message = new String(b);
            System.out.println(" receive request: " + socket.getInetAddress() + " " + message);
    
            // 睡2秒模拟思考时间,这里是为了模拟服务器端的业务处理时间
            try {
              Thread.sleep(2000);
            } catch (InterruptedException e) {
              e.printStackTrace();
            }
    
            // 向客户端发送确认消息
            //定义输出流outer
            OutputStream outer = socket.getOutputStream();
            //将客户端发送的信息加上确认信息ok
            String response = message + " is OK";
            //将输入信息保存到b_out中
            byte[] b_out = response.getBytes();
            //写入输入流
            outer.write(b_out);
            //推送输入流到客户端
            outer.flush();
    
          } catch (IOException e) {
            e.printStackTrace();
          } finally {
            // 关闭socket
            try {
              socket.close();
            } catch (IOException e) {
              e.printStackTrace();
            }
          }
        }
      }
    
      //程序入口
      public static void main(String[] args) {
        //定义服务端
        SocketReceiver receiver = new SocketReceiver();
        //启动服务端
        receiver.init();
      }
    }
    

    编写JMeter脚本

    首先创建TCP Sampler。右键点击Thread Group - Add - Sampler - TCP Sampler即可创建。

    输入配置和要发送的信息。

    IP地址和端口是必须要输入的。对于创建一个TCP协议的JMeter脚本来说,简单地说,过程就是这样的:创建连接 - 发数据 - 关闭连接。

    就这样,这个手工的脚本就完成了。

    你可能会问,就这么简单吗?是的,手工编写就是这么简单。

    但是(对嘛,但是才是重点),通常我们在创建TCP协议的脚本时,都是根据业务接口规范来说的,复杂点其实不在脚本本身上,而是在接口的规则上

    添加断言

    我回放了一下脚本,发现如下情况:

    都执行对了呀,为什么下面的没有返回信息呢?这种情况下只有第一个请求有返回信息,但是下面也没有报错。这里就需要注意了。

    测试工具的成功,并不等于业务的成功

    所以我们必须要做的就是响应断言,也就是返回值的判断。在JMeter中,断言有以下这些:

    因为今天的文章不是工具的教程,所以我不打算全讲一遍。这里我只用最基础的响应断言。什么是断言呢?

    断言指的就是服务器端有一个业务成功的标识,会传递给客户端,客户端判断是否正常接收到了这个标识的过程。

    在这里我添加了一个断言,用以判断服务器是否返回了OK。 你要注意这个“OK”是从哪来的哦,它是从服务端的这一行代码中来的。

     String response = message + " is OK";
    

    请注意,这个断言的信息,一是可以判断出业务的正确性。我在工作中发现有些人用页面中一些并不必要的文字来判断,这样就不对了,我们应该用有业务含义的判断标识。

    如果我们再次回放脚本,你会发现除了第一个请求,后面9个请求都错了。

    所以,在做脚本时,请你一定要注意,断言是必须要加的

    长短连接的问题

    既然有错,肯定是要处理。我们查看一下JMeter的控制台错误信息:

    2019-11-26 09:51:51,587 ERROR o.a.j.p.t.s.TCPSampler: 
    java.net.SocketException: Broken pipe (Write failed)
    	at java.net.SocketOutputStream.socketWrite0(Native Method) ~[?:1.8.0_111]
    	at java.net.SocketOutputStream.socketWrite(SocketOutputStream.java:109) ~[?:1.8.0_111]
    	at java.net.SocketOutputStream.write(SocketOutputStream.java:141) ~[?:1.8.0_111]
    	at org.apache.jmeter.protocol.tcp.sampler.TCPClientImpl.write(TCPClientImpl.java:78) ~[ApacheJMeter_tcp.jar:5.1.1 r1855137]
    	at org.apache.jmeter.protocol.tcp.sampler.TCPSampler.sample(TCPSampler.java:401) [ApacheJMeter_tcp.jar:5.1.1 r1855137]
    	at org.apache.jmeter.threads.JMeterThread.doSampling(JMeterThread.java:622) [ApacheJMeter_core.jar:5.1.1 r1855137]
    	at org.apache.jmeter.threads.JMeterThread.executeSamplePackage(JMeterThread.java:546) [ApacheJMeter_core.jar:5.1.1 r1855137]
    	at org.apache.jmeter.threads.JMeterThread.processSampler(JMeterThread.java:486) [ApacheJMeter_core.jar:5.1.1 r1855137]
    	at org.apache.jmeter.threads.JMeterThread.run(JMeterThread.java:253) [ApacheJMeter_core.jar:5.1.1 r1855137]
      at java.lang.Thread.run(Thread.java:745) [?:1.8.0_111]
    

    从字面上来看,就是通道瓦塔(被破坏)了,Broken pipe。这个提示表明客户端上没有这个连接了,而JMeter还以为有这个链接,于是接着用这个链接来发,显然是找不到这个通道,于是就报错了。

    这是一个典型的压力工具这边的问题。

    而服务端,只收到了一条请求。

    为什么会报这个错呢?因为我们代码是短链接的,服务端处理完之后,就把这个链接给断掉了。

    这里是压力机上的抓包信息:

    //从这里开始,上面已经看到了有Fin(结束)包了,后面还在发Push(发送数据)包。显然是通不了,还被服务端啪啪抽了两次reset。
    11:58:07.042915 IP localhost.57677 > 60.205.107.9.m-oap: Flags [P.], seq 34:67, ack 41, win 4119, options [nop,nop,TS val 163718903 ecr 2122793206], length 33
    11:58:07.046075 IP localhost.57677 > 60.205.107.9.m-oap: Flags [FP.], seq 67:331, ack 41, win 4119, options [nop,nop,TS val 163718906 ecr 2122793206], length 264
    11:58:07.076393 IP 60.205.107.9.m-oap > localhost.57677: Flags [R], seq 3986768192, win 0, length 0
    11:58:07.079156 IP 60.205.107.9.m-oap > localhost.57677: Flags [R], seq 3986768192, win 0, length 0
    

    服务端的抓包信息:

    //服务端也是没有办法,只能在看到了Push包之后,给回了个Reset包。
    11:58:07.047001 IP 124.64.16.240.bones > 7dgroup1.enc-eps-mc-sec: Flags [P.], seq 34:67, ack 41, win 4119, options [nop,nop,TS val 163718903 ecr 2122793206], length 33
    11:58:07.047077 IP 7dgroup1.enc-eps-mc-sec > 124.64.16.240.bones: Flags [R], seq 3986768192, win 0, length 0
    11:58:07.054757 IP 124.64.16.240.bones > 7dgroup1.enc-eps-mc-sec: Flags [FP.], seq 67:331, ack 41, win 4119, options [nop,nop,TS val 163718906 ecr 2122793206], length 264
    11:58:07.054844 IP 7dgroup1.enc-eps-mc-sec > 124.64.16.240.bones: Flags [R], seq 3986768192, win 0, length 0
    

    这是为什么呢?因为在JMeter中,默认是复用TCP连接的,但是在我们这个示例中,服务端并没有保存这个连接。所以,我们应该在脚本中,把下图中的Re-use connection给去掉。

    这时再回放脚本,你就会发现10次迭代全都对了。如下图所示:

    但是,这里还有一个知识点,希望你注意。短连接的时候,必然会产生更多的TCP连接的创建和销毁,对性能来说,这会让系统变得缓慢。

    所以你可以看到上面10条迭代全都对了的同时,响应时间也增加了。

    可能会有人问,那这怎么办呢?长短连接的选择取决于业务的需要,如果必须用短链接,那可能就需要更多的CPU来支撑;要是长连接,就需要更多的内存来支撑(用以保存TCP连接)。

    根据业务需要,我们选择一个合适的就好。

    TCP连接超时

    这个问题,应该说非常常见,我们这里只做问题的现象说明和解决,不做原理的探讨。原理的部分,我会在监控和分析部分加一说明。

    下面这个错误,属于典型的主机连不上。

    java.net.ConnectException: Operation timed out (Connection timed out)
    	at java.net.PlainSocketImpl.socketConnect(Native Method) ~[?:1.8.0_111]
    	at java.net.AbstractPlainSocketImpl.doConnect(AbstractPlainSocketImpl.java:350) ~[?:1.8.0_111]
    	at java.net.AbstractPlainSocketImpl.connectToAddress(AbstractPlainSocketImpl.java:206) ~[?:1.8.0_111]
    	at java.net.AbstractPlainSocketImpl.connect(AbstractPlainSocketImpl.java:188) ~[?:1.8.0_111]
    	at java.net.SocksSocketImpl.connect(SocksSocketImpl.java:392) ~[?:1.8.0_111]
    	at java.net.Socket.connect(Socket.java:589) ~[?:1.8.0_111]
    	at org.apache.jmeter.protocol.tcp.sampler.TCPSampler.getSocket(TCPSampler.java:168) [ApacheJMeter_tcp.jar:5.1.1 r1855137]
    	at org.apache.jmeter.protocol.tcp.sampler.TCPSampler.sample(TCPSampler.java:384) [ApacheJMeter_tcp.jar:5.1.1 r1855137]
    	at org.apache.jmeter.threads.JMeterThread.doSampling(JMeterThread.java:622) [ApacheJMeter_core.jar:5.1.1 r1855137]
    	at org.apache.jmeter.threads.JMeterThread.executeSamplePackage(JMeterThread.java:546) [ApacheJMeter_core.jar:5.1.1 r1855137]
    	at org.apache.jmeter.threads.JMeterThread.processSampler(JMeterThread.java:486) [ApacheJMeter_core.jar:5.1.1 r1855137]
    	at org.apache.jmeter.threads.JMeterThread.run(JMeterThread.java:253) [ApacheJMeter_core.jar:5.1.1 r1855137]
      at java.lang.Thread.run(Thread.java:745) [?:1.8.0_111]
    

    time out是个如果你理解了逻辑,就觉得很简单,如果没理解逻辑,就觉得非常复杂的问题。

    要想解决这个问题,就要先确定服务端是可以正常连通的。

    如果不能正常连通,那么通常都是IP不正确、端口不正确、防火墙阻止之类的问题。解决了网络连通性的问题,就可以解决connection timed out的问题。

    编写LoadRunner脚本

    针对上面这个示例,如果你要想编写一个LoadRunner的示例脚本,也是简单到不行。

    首先创建一个空的winsock脚本,复制下面代码到action里面。

    //创建socket1
    lrs_create_socket("socket1", "TCP", "RemoteHost=60.205.10.9:5567", LrsLastArg); 
    //走socket1, 发送buf1中定义的数据
    lrs_send ("socket1", "buf1", LrsLastArg ); 
    //走socket1,接收数据保存在buf2中
    lrs_receive("socket1", "buf2",  LrsLastArg); 
    //关掉socket1
    lrs_close_socket("socket1"); 
    

    从上面的信息就可以看到,socket1这个标识是我们操作的基础。如果你在一个脚本中想处理两个socket,也是可以的,只要控制好你的标识不会乱就行。

    接着再将下面的内容复制到data.ws里面。

    send buf1 5
        "12345"
    
    recv buf2 10
    

    你可能会问,这个recv怎么不写返回的值是什么?

    当你手写socket脚本的时候,都还没有运行,你怎么知道返回值是什么呢?所以这里,可以不用写。

    而recv 后面的10是指接收10个字节。如果多了怎么办?截掉?!不会的,LoadRunner还是会把所有信息全部接收并保存下来,除非你提前定义了截取字符长度的函数。

    最后看下我们回放的结果:

    Action.c(6): lrs_create_socket(socket1, TCP, ...)
    Action.c(7): lrs_send(socket1, buf1)
    Action.c(8): lrs_receive(socket1, buf2)
    Action.c(8): Mismatch in buffer's length (expected 10 bytes, 11 bytes actually received, difference in 1 bytes)
    ================================EXPECTED BUFFER================================
    ===============================================================================
    ================================RECEIVED BUFFER================================
    	"12345 is OK"
    ===============================================================================
    Action.c(8): callRecv:11 bytes were received
    Action.c(9): lrs_close_socket(socket1)
    

    看,脚本正常执行了,只是报了一个Mismatch,这是因为我们定义了buf2 是10字节,而我们实际上接收了11字节,所以这里给出了Mismatch。

    到此,一个LoadRunner的手工TCP脚本就完成了。后面我们就可以根据需要,增强脚本了,加个参数化、关联、检查点等等。

    总结

    其实这篇文章只想告诉你一件事情,手工编写脚本,从基础上说,是非常简单的,只是有三点需要特别强调:

    1. 涉及到业务规则和逻辑判断之后,编写脚本就复杂了起来。但是了解业务规则是做脚本的前提条件,也是性能测试工程师的第一步。
    2. 编写脚本的时候,要知道后端的逻辑。这里的意思不是说,你一开始写脚本的时候,就要去读后端的代码,而是说你在遇到问题的时候,要分析整个链路上每个环节使用到了什么技术,以便快速地分析判断。
    3. 写脚本是以最简为最佳,用不着故意复杂。

    脚本的细节功能有很多,而现在我们可以看到市场上的书籍也好,文档也好,基本上是在教人如何用工具,很少会从前到后地说明一个数据从哪发到哪,谁来处理这样的逻辑。

  • 相关阅读:
    java-异常体系
    LinkedList (队列、栈实现还没看(打算学会使用方法即可)、另外两篇参考文章还没看)
    java面试题
    javascript function前面的符号!~-
    8.1 Java自学
    7.31 Java自学
    JAVA学习日报 8.1
    JAVA学习日报 7.31
    【C++】类-基础知识
    【机器学习】HMM
  • 原文地址:https://www.cnblogs.com/ting152/p/13517930.html
Copyright © 2011-2022 走看看