zoukankan      html  css  js  c++  java
  • httpclient解析gzip网页

    httpclient解析gzip网页 - 夜隼 - 博客园

    请求时加上:getHC.setRequestHeader("Accept-Encoding","gzip, deflate");

    解析时

    String acceptEncoding = "";

         if(getHC.getResponseHeader("Content-Encoding")!=null)

          acceptEncoding = getHC.getResponseHeader("Content-Encoding").getValue();

         StringBuffer sb =new StringBuffer();

         log.debug("acceptEncoding:"+acceptEncoding);

         if(acceptEncoding.toLowerCase().indexOf("gzip") > -1)

         {

          //建立gzip解压工作流

          InputStream is = getHC.getResponseBodyAsStream();

          GZIPInputStream gzin = new GZIPInputStream(is);

          InputStreamReader isr = new InputStreamReader(gzin, charset); // 设置读取流的编码格式,自定义编码

          java.io.BufferedReader br = new java.io.BufferedReader(isr);

          String tempbf;

          while((tempbf=br.readLine())!=null){

           sb.append(tempbf);

           sb.append("\r\n");

          }

          isr.close();

          gzin.close();

         }

         else

         {

          InputStreamReader isr = new InputStreamReader(getHC.getResponseBodyAsStream(), charset); // 设置读取流的编码格式,自定义编码

          java.io.BufferedReader br = new java.io.BufferedReader(isr);

          String tempbf;

          while((tempbf=br.readLine())!=null){

           sb.append(tempbf);

           sb.append("\r\n");

          }

          isr.close();

         }

         getHC.abort();

         getHC.releaseConnection();

         ((SimpleHttpConnectionManager)httpClient.getHttpConnectionManager()).shutdown();

  • 相关阅读:
    多任务异步操作在爬虫中的应用
    selenium怎样避免被服务器检测
    python查看文件夹下所有文件
    使用selenium实现站长素材图片采集
    云打码接口
    django的请求生命周期
    django中间件
    Python之Hello World的条件输出实例
    项目要部署到远程的服务器:
    饭侠main.js
  • 原文地址:https://www.cnblogs.com/lexus/p/2376812.html
Copyright © 2011-2022 走看看