基于线程池和连接池的Http请求

背景:最新项目需求调用http接口，所以打算使用最新的httpClient客户端写一个工具类，写好了以后在实际应用过程中遇到了一些问题，因为数据量还算

大，每次处理大概要处理600-700次请求，平均算下来大概需要20分钟，这个速度虽然是跑在定时任务中的，但是也是不能忍受的，所以有了这个博客.

 

1.首先想到的解决办法就是多线程发请求了，但是这个有坑，最后会在结果处说明.

2.代码方面如下

 ExecutorService executor = Executors.newFixedThreadPool(5);
 FutureTask<Order> future;
        for (TransactionRecord record:list) {
            final String orderNo = record.getOrderNo();
            future = new FutureTask<Order>(new OrderTask(orderNo));
            executor.submit(future);
            futureList.add(future);
        }

    class OrderTask implements Callable<Order> {
        private String orderNo;
        public OrderTask(String orderNo) {
            this.orderNo = orderNo;
        }
        @Override
        public Order call() throws Exception {
            Order order = orderService.getOrder(orderNo); //在getOrder中直接调用下面的我封装的http工具类
            return order;
        }
    }

 这是一段很简单的多线程代码，但是其中有一个坑需要大家注意的，不要在上面的循环中直接调用future.get()方法，如果直接调用的话就直接变成阻塞的了，和单线程

就没有区别了，可以自己写一个demo测试一下效率.

3.http方面的代码，可以全部贴出来，如下

   /**
     * get
     */
    public static HttpResultEntry doPost(String url, Map<String, String> params,
                                         String charset) throws Exception {
        HttpResultEntry resultEntry = new HttpResultEntry();    //自定义返回结果
        CloseableHttpResponse response = null;       //返回结果,释放链接
        List<NameValuePair> pairs = new ArrayList<>();
        ;        //参数
        if (StringUtils.isBlank(url)) {
            resultEntry.setMsg("请求地址异常");
            resultEntry.setStatus(404);
            resultEntry.setData("");
            return resultEntry;
        }
        try {
            if (params != null && !params.isEmpty()) {
                for (Map.Entry<String, String> entry : params.entrySet()) {
                    String value = entry.getValue();
                    if (value != null) {
                        pairs.add(new BasicNameValuePair(entry.getKey(), value));
                    }
                }
            }
            HttpPost httpPost = new HttpPost(url);
            httpPost.setEntity(new UrlEncodedFormEntity(pairs, charset));
            response = httpClient.execute(httpPost);     //建立链接得到返回结果
            int statusCode = response.getStatusLine().getStatusCode();      //返回的结果码
            if (statusCode != 200) {
                httpPost.abort();
                resultEntry.setMsg("请求异常");
                resultEntry.setStatus(statusCode);
                resultEntry.setData("");
                LOGGER.info("返回异常:{}", resultEntry);
                return resultEntry;
            }
            HttpEntity httpEntity = response.getEntity();
            String result = null;
            if (httpEntity == null) {
                resultEntry.setMsg("返回结果异常");
                resultEntry.setStatus(statusCode);
                resultEntry.setData("");
                return resultEntry;
            } else {
                result = EntityUtils.toString(httpEntity, charset);
            }
            resultEntry.setMsg("请求正常");
            resultEntry.setStatus(statusCode);
            resultEntry.setData(result);

            EntityUtils.consume(httpEntity);        //按照官方文档的说法：二者都释放了才可以正常的释放链接
            response.close();
            return resultEntry;
        } catch (Exception e) {
            LOGGER.error("请求错误：{},错误信息：{}", e.getMessage(), e);
            throw new Exception("HTTP请求异常");
        } finally {
            if (response != null) {
                try {
                    response.close();
                } catch (IOException e) {
                    LOGGER.error("关闭流异常:{},错误信息:{}", e.getMessage(), e);
                }
            }
        }
    }

    /**
     * post
     */
    public static HttpResultEntry doGet(String url, Map<String, String> params,
                                        String charset) throws Exception {
        HttpResultEntry resultEntry = new HttpResultEntry();    //自定义返回结果
        CloseableHttpResponse response = null;       //返回结果,释放链接
        List<NameValuePair> pairs = new ArrayList<>();//参数
        if (StringUtils.isBlank(url)) {
            resultEntry.setMsg("请求地址异常");
            resultEntry.setStatus(404);
            resultEntry.setData("");
            return resultEntry;
        }
        try {
            if (params != null && !params.isEmpty()) {
                for (Map.Entry<String, String> entry : params.entrySet()) {
                    String value = entry.getValue();
                    if (value != null) {
                        pairs.add(new BasicNameValuePair(entry.getKey(), value));
                    }
                }
                url += "?" + EntityUtils.toString(new UrlEncodedFormEntity(pairs, charset));
            }
            HttpGet httpGet = new HttpGet(url);
            response = httpClient.execute(httpGet);     //建立链接得到返回结果
            int statusCode = response.getStatusLine().getStatusCode();
            if (statusCode != 200) {
                httpGet.abort();
                resultEntry.setMsg("请求异常");
                resultEntry.setStatus(statusCode);
                resultEntry.setData("");
                LOGGER.info("返回异常:{}", resultEntry);
                return resultEntry;
            }
            HttpEntity httpEntity = response.getEntity();
            String result = null;
            if (httpEntity == null) {
                resultEntry.setMsg("返回结果异常");
                resultEntry.setStatus(statusCode);
                resultEntry.setData("");
                return resultEntry;
            } else {
                result = EntityUtils.toString(httpEntity, charset);
            }
            resultEntry.setMsg("请求正常");
            resultEntry.setStatus(statusCode);
            resultEntry.setData(result);

            EntityUtils.consume(httpEntity);        //按照官方文档的说法：二者都释放了才可以正常的释放链接
            response.close();
            return resultEntry;
        } catch (Exception e) {
            LOGGER.error("请求错误：{},错误信息：{}", e.getMessage(), e);
            throw new Exception("HTTP请求异常");
        } finally {
            if (response != null) {
                try {
                    response.close();
                } catch (IOException e) {
                    LOGGER.error("关闭流异常:{},错误信息:{}", e.getMessage(), e);
                }
            }
        }
    }

 使用的http连接池，连接池的代码很简单就不粘贴了，首先使用的时候一定要注意最后的释放工作，必须把httpEntry和respose都释放掉，按照官方文档的说法，只有这样才是真的释放了链接的，也就是这个链接才可以被复用.

总结:需要特别注意的是，访问别人的http接口的时候一定不要开太多的线程，免得把别人的接口搞挂了，想我就的到了教训，我在访问一个http的接口的时候开了一百个线程，666次请求跑了3.7秒左右，是很快我也很开心，然后那边数据库受不了压力了，导致报警最后直接开了白名单，尴尬了，所以使用这些的时候一定要考虑这些，开三五个就够了，另外如果开太多线程的话tomcat服务器有可能假死也，不要这么干!