HttpURLConnection模拟浏览器http请求【转】

本文是参考网络文章测试整理,报歉忘记参考地址了,要是作者有意见就请联系我.文中只是对程序的运行做了测试,但理论没有去考证正确性,等后面研究下再完善.这只是做参考 

import java.io.BufferedReader;
import java.io.DataOutputStream;
import java.io.InputStreamReader;
import java.net.HttpURLConnection;
import java.net.URL;
import java.net.URLEncoder;

/**
 * HttpURLConnection 模拟浏览器http请求处理测试
 * 
 * 整体操作流程(注意顺序)
 *   1.根据url地址创建URL对象
 *   2.url.openConnection() 得到HttpURLConnection
 *   3.设置HttpURLConnection的配置(会根据配置生成http请求头信息)
 *   4.httpConn.connect()建立与服务器的TCP连接
 *   5.通过httpConn得到输出流,并写入参数
 *   6.通过httpConn得到输入流,并读取服务器返回信息(这时才真正产生http请求发送给服务器,但可以根据配置来改变;一般返回可能是html字符串)
 * 
 * httpRequestPost/httpRequestGet两种方式测试通过，返回的是html字符串(后台是jsp)
 *
 */
public class HttpURLConnectionTest {

    public static void main(String[] strs) throws Exception{
        HttpURLConnectionTest t = new HttpURLConnectionTest();
        String url = "http://localhost:8080/URLTest/filesystem/fileBrowse.do";
        t.httpUrlConnection(url);
    }
    
    private void httpUrlConnection(String urlStr) throws Exception{
        httpRequestGet(urlStr);
        httpRequestPost(urlStr);
    }
    
    /**
     * http post请求
     * @param urlStr URL地址
     * @throws Exception
     */
    private void httpRequestPost(String urlStr) throws Exception{
        URL url = new URL(urlStr);
        
        HttpURLConnection httpConn = (HttpURLConnection)url.openConnection();
        
        //设置是否向connection输出，因为是post请求，参数要放在 http正文内，因此需要设为true
        httpConn.setDoOutput(true);
        
        //是否向connection输入，默认为true
        httpConn.setDoInput(true);
        
        //POST请求方式
        httpConn.setRequestMethod("POST");
        
        //post请求不能使用缓存
        httpConn.setUseCaches(false);
        
        //是否自动执行重定向,默认为true
        httpConn.setInstanceFollowRedirects(true);
        
        //配置本次连接的Content-type，配置为application/x-www-form-urlencoded的意思是正文是urlencoded编码过的form参数
        //下面我们可以看到我们对正文内容使用URLEncoder.encode 进行编码
        httpConn.setRequestProperty("Content-Type", "application/x-www-form-urlencoded");
        
        //连接，从openConnection()至此的配置必须要在connect之前完成， 注意的是connection.getOutputStream会隐含的进行connect。
        httpConn.connect();
        
        DataOutputStream dos = new DataOutputStream(httpConn.getOutputStream());
        
        //发送正文，正文内容其实跟get的URL中'?'后的参数字符串一致 word=wait&tn=news&from=news
        String content = "filePath=" + URLEncoder.encode("设计资料/设计", "utf-8");
        
        //DataOutputStream.writeBytes将字符串中的16位的unicode字符以8位的字符形式写道流里面
        dos.writeBytes(content); 
        
        //刷新流
        dos.flush();
        
        //关闭流
        dos.close();
        
        // 取得输入流，并使用Reader读取
        BufferedReader reader = new BufferedReader(new InputStreamReader(httpConn.getInputStream()));
        
        System.out.println("=========post request接收数据内容开始============");
        String lines;
        while ((lines = reader.readLine()) != null) {
            System.out.println(lines);
        }
        reader.close();
        System.out.println("=========post request接收数据内容结束============");
        httpConn.disconnect();
    }

    /**
     * http get 请求
     * @param urlStr 请求URL地址
     * @throws Exception
     */
    private void httpRequestGet(String urlStr) throws Exception{
        //URL拼接,如："http://www.baidu.com?name=HI,中国",这里对特殊字符进行了编码，不然会产生乱码
        URL url = new URL(urlStr + "?filePath=" + URLEncoder.encode("设计资料/设计", "utf-8"));
        
        //openConnection函数会根据URL的协议返回不同的URLConnection子类的对象
        //这里URL是一个http,因此实际返回的是HttpURLConnection 
        HttpURLConnection httpConn = (HttpURLConnection)url.openConnection();
        
        //进行连接,实际上request要在下一句的connection.getInputStream()函数中才会真正发到 服务器****待验证
        httpConn.connect();
        
         // 取得输入流，并使用Reader读取
        BufferedReader reader = new BufferedReader(new InputStreamReader(httpConn.getInputStream()));
        
        System.out.println("=========get request接收数据内容开始============");
        String lines;
        while ((lines = reader.readLine()) != null) {
            System.out.println(lines);
        }
        reader.close();
        System.out.println("=========get request接收数据内容结束============");
        httpConn.disconnect();
    }

    
    /**
     * http post 请求(未测试)
     * 
     * @param urlStr
     * @throws Exception
     */
    public static void httpRequestPostBig(String urlStr) throws Exception {
            URL postUrl = new URL(urlStr);
            HttpURLConnection connection = (HttpURLConnection) postUrl
                    .openConnection();
            connection.setDoOutput(true);
            connection.setDoInput(true);
            connection.setRequestMethod("POST");
            connection.setUseCaches(false);
            connection.setInstanceFollowRedirects(true);
            connection.setRequestProperty("Content-Type","application/x-www-form-urlencoded");
             //与httpRequestPost()的不同，设置了块大小为5字节
            connection.setChunkedStreamingMode(5);
            connection.connect();
            /*
             * 注意，下面的getOutputStream函数工作方式于在httpRequestPost()里面的不同
             * 在httpRequestPost()里面该函数仍在准备http request，没有向服务器发送任何数据
             * 而在这里由于设置了ChunkedStreamingMode，getOutputStream函数会根据connect之前的配置
             * 生成http request头，先发送到服务器。
             */
            DataOutputStream out = new DataOutputStream(connection
                    .getOutputStream());
            String content = "name=" + URLEncoder.encode("发送到服务器                                                                             " +
                    "                                          " +
                    "aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa", "utf-8");
            out.writeBytes(content); 

            out.flush();
            out.close(); //到此时服务器已经收到了完整的http request了，而在httpRequestPost()函数里，要等到下一句getInputStream()服务器才能收到http请求。
            BufferedReader reader = new BufferedReader(new InputStreamReader(
                    connection.getInputStream()));
            
            out.flush();
            out.close();
            String line;
            System.out.println("==========post request开始==========");
            while ((line = reader.readLine()) != null) {
                System.out.println(line);
            }
            System.out.println("==========post request结束==========");
            reader.close();
            connection.disconnect();
        }
}

HttpURLConnection.connect函数，实际上只是建立了一个与服务器的tcp连接，并没有实际发送http请求。无论是post还是get，http请求实际上直到HttpURLConnection.getInputStream()这个函数里 

面才正式发送出去。 
  在httpRequestPost() 中，顺序很重要，对connection对象的一切配置（那一堆set函数）都必须要在connect()函数执行之前完成。而对 outputStream的写操作，又必须要在inputStream的 

读操作之前。这些顺序实际上是由http请求的格式决定的。 
  http 请求实际上由两部分组成，一个是http头，所有关于此次http请求的配置都在http头里面定义，一个是正文content，在connect()函数里面，会根据HttpURLConnection对象的配置值生 

成http头，因此在调用connect函数之前，就必须把所有的配置准备好。 
  紧接着http头的是http请求的正文，正文的内容通过outputStream写入，实际上outputStream不是一个网络流，充其量是个字符串流，往里面写入的东西不会立即发送到网络，而是在流关闭 

后，根据输入的内容生成http正文。 
  至此，http请求的东西已经准备就绪。在getInputStream()函数调用的时候，就会把准备好的http请求正式发送到服务器了，然后返回一个输入流，用于读取服务器对于此次http请求的返回 

信息。由于http请求在getInputStream的时候已经发送出去了（包括http头和正文），因此在getInputStream()函数之后对connection对象进行设置（对http头的信息进行修改）或者写入 outputStream 

（对正文进行修改）都是没有意义的了，执行这些操作会导致异常的发生 
  post请求的OutputStream实际上不是网络流，而是写入内存，在getInputStream中才真正把写道流里面的内容作为正文与根据之前的配置生成的http request头合并成真正的http request， 

并在此时才真正向服务器发送。 
  HttpURLConnection.setChunkedStreamingMode 函数可以改变这个模式，设置了ChunkedStreamingMode后，不再等待OutputStream关闭后生成完整的http request一次过发送，而是先发送 

http request头，正文内容则是网路流的方式实时传送到服务器。实际上是不告诉服务器http正文的长度，这种模式适用于向服务器传送较大的或者是不容易获取长度的数据，如文件。