zoukankan      html  css  js  c++  java
  • 插上NIO翅膀,FunTester飞上天

    在前段时间对性能测试框架对比的文章中,我又重新学习了Java NIO知识的学习,又发掘了一项FunTester优化,说干就干,现在就行动起来。

    首先呢,先复习一下关于统计QPS中用到到一个请求模型。在之前的两篇讨论性能测试误差的文章性能测试误差分析文字版-上性能测试误差分析文字版-下中,我画了一个简单的请求时间模型。

    计算模型

    如图所示,这是单个线程单个请求的耗时简易模型,分成三部分:请求前(对应before)、请求与响应(对应request and response)和请求后(对应after)。其中T代表三个部分的总时间,rt代表了请求与响应的时间。

    请求计算模型

    Java NIO

    Java NIO有两种解释:一种叫非阻塞IO(Non-blocking I/O),另一种也叫新的IO(New I/O),其实是同一个概念。NIO是一种基于通道和缓冲区的I/O方式,它可以使用Native函数库直接分配堆外内存(区别于JVM的运行时数据区),然后通过一个存储在java堆里面的DirectByteBuffer对象作为这块内存的直接引用进行操作。这样能在一些场景显著提高性能,因为避免了在Java堆和Native堆中来回复制数据。

    以上内容摘要,其实我的理解也不透彻。PS:我更建议有能力的搜一搜,了解一下也是好的。

    下面我分享一下Java NIOHTTP协议接口测试中的应用。

    缘由

    在上图第二部分中,请求和响应占据了整个部分。如果我们将这部分再细分,那么可以分成三个部分:发出请求、等待响应、接收响应。Java NIO在接口测试中的应用就在等待响应和接收响应这一部分。如果我们使用一种技术,将发出请求之后,等待响应和接收响应这个过程交给另外的线程处理,又不影响两者之间的关系,那么我们就可以不断地发出请求,提高客户端性能而又不影响我们接收响应,进行业务验证。

    对于那些响应时间比较长的接口来说。这样的处理结果能够极大的提升客户端发送请求的速率。对于线程数一定的情况下,由单个客户端发起的压力也会成倍的增加。经过本人在本地进行单线程模拟测试。(这个倍数大约在30倍左右。可见Java NIO的性能提升有多强。当然在实际的更大压力的性能测试中,这个倍数会降低很多。)

    HttpClient应用

    HttpAsyncClient则使用Java NIO的异步非阻塞事件驱动I/O模型,实现了真正意义的异步调用,使用HttpAsyncClient我们需要引入其专门的包

    之前我有写过文章:HTTP异步连接池和多线程实践,只不过现在在看当时显得特别的字呢,对于http client异步客户端也有点儿理解不透彻,特别是对于callback函数的应用。

    核心方法如下:

        @Override
        public Future<HttpResponse> execute(
                final HttpUriRequest request,
                final FutureCallback<HttpResponse> callback) {
            return execute(request, HttpClientContext.create(), callback);
        }
    

    第一个是参数请求对象,第二个参数是回调函数。其中我之前常用的请求对象org.apache.http.client.methods.HttpRequestBase,具体实现代码摘要public abstract class HttpRequestBase extends AbstractExecutionAwareRequest implements HttpUriRequest, Configurable

    下面是我经过一些资料的查证,重新写了一下。Http client异步客户端的使用方法的封装。

    不管不顾

    这个方法只负责把请求发出去,至于响应一律不管。这里据我查证,callback如果传null的话,在处理响应的时候会直接释放连接等相关资源。

        /**
         * 异步发送请求
         *
         * @param request
         */
        public static void executeSync(HttpRequestBase request) {
            ClientManage.httpAsyncClient.execute(request, null);
        }
    
    

    异步打印日志

    通过一个简单的日志打印功能实现FutureCallback,来实现异步响应结果的解析和日志打印功能。

        /**
         * 异步请求,打印日志
         *
         * @param request
         * @param response
         */
        public static void executeSyncWithLog(HttpRequestBase request) {
            ClientManage.httpAsyncClient.execute(request, logCallback);
        }
    
    
        /**
         * 异步请求打印日志的callback
         */
        public static final FutureCallback<HttpResponse> logCallback = new FutureCallback<HttpResponse>() {
            @Override
            public void completed(HttpResponse httpResponse) {
                HttpEntity entity = httpResponse.getEntity();
                String content = getContent(entity);
                logger.info("响应结果:{}", content);
            }
    
            @Override
            public void failed(Exception e) {
                logger.warn("响应失败", e);
            }
    
            @Override
            public void cancelled() {
                logger.warn("取消执行");
            }
        };
    
    

    异步解析响应

    这里我引入了第二个参数com.alibaba.fastjson.JSONObject,用来保存解析响应,之所以加上这个,用来异步保存响应结果,用来业务验证。

    
        /**
         * 异步请求,返回响应,引入第二个参数{@link JSONObject}
         *
         * @param request
         * @param response
         */
        public static void executeSyncWithResponse(HttpRequestBase request, JSONObject response) {
            ClientManage.httpAsyncClient.execute(request, new FunTester(response));
        }
    
    
        /**
         * 异步请求,异步解析响应的FutureCallback实现类
         */
       private static class FunTester implements FutureCallback<HttpResponse> {
    
            public FunTester(JSONObject response) {
                this.response = response;
            }
    
            JSONObject response;
    
            @Override
            public void completed(HttpResponse result) {
                HttpEntity entity = result.getEntity();
                String content = getContent(entity);
                response = JSON.parseObject(content);
            }
    
            @Override
            public void failed(Exception e) {
                logger.warn("响应失败", e);
            }
    
            @Override
            public void cancelled() {
                logger.warn("取消执行");
            }
    
        }
    
    
    • httpAsyncClientHttpClient性能对比,以及这三个方法的性能比较。后续我会进行对比测试。原因是本地服务响应太快,无法体现差异。

    Have Fun ~ Tester !


    点击阅读阅文,查看FunTester历史原创集合

  • 相关阅读:
    git使用
    Git常用命令梳理
    git fetch 更新远程代码到本地仓库
    理解RESTful架构
    漫谈五种IO模型(主讲IO多路复用)
    python 单下划线/双下划线使用总结
    闰秒导致MySQL服务器的CPU sys过高
    闰秒问题
    Java线上应用故障排查之一:高CPU占用
    ZooKeeper安装与配置
  • 原文地址:https://www.cnblogs.com/FunTester/p/15153293.html
Copyright © 2011-2022 走看看