使用java程序模拟页面发送http的post请求

在web应用程序中，一般都是通过页面发送http的post请求，但也可以使用java程序来模拟页面发送请求，代码如下：

import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.io.OutputStreamWriter;
import java.net.URL;
import java.net.HttpURLConnection;
public class TestPost {
public static void testPost() throws IOException {   
        /**  
         * 首先要和URL下的URLConnection对话。 URLConnection可以很容易的从URL得到。比如： // Using  
         *  java.net.URL and //java.net.URLConnection  
         *  
         *  使用页面发送请求的正常流程：在页面http://www.faircanton.com/message/loginlytebox.asp中输入用户名和密码，然后按登录，
         *  跳转到页面http://www.faircanton.com/message/check.asp进行验证
         *  验证的的结果返回到另一个页面
         *  
         *  使用java程序发送请求的流程：使用URLConnection向http://www.faircanton.com/message/check.asp发送请求
         *  并传递两个参数：用户名和密码
         *  然后用程序获取验证结果
         */  
        URL url = new URL("http://www.faircanton.com/message/check.asp");   
        HttpURLConnection connection = (HttpURLConnection)url.openConnection();   
        /**  
         * 然后把连接设为输出模式。URLConnection通常作为输入来使用，比如下载一个Web页。  
         * 通过把URLConnection设为输出，你可以把数据向你个Web页传送。下面是如何做：  
         */  
        connection.setDoOutput(true);  
        connection.setRequestMethod("POST"); 
        /**  
         * 最后，为了得到OutputStream，简单起见，把它约束在Writer并且放入POST信息中，例如： ...  
         */  
        OutputStreamWriter out = new OutputStreamWriter(connection.getOutputStream(), "8859_1");   
        out.write("username=kevin&password=*********"); //向页面传递数据。post的关键所在！   
        // remember to clean up   
        out.flush();   
        out.close();   
        /**  
         * 这样就可以发送一个看起来象这样的POST：   
         * POST /jobsearch/jobsearch.cgi HTTP 1.0 ACCEPT:  
         * text/plain Content-type: application/x-www-form-urlencoded  
         * Content-length: 99 username=bob password=someword  
         */  
        // 一旦发送成功，用以下方法就可以得到服务器的回应：   
        String sCurrentLine;   
        String sTotalString;   
        sCurrentLine = "";   
        sTotalString = "";   
        InputStream l_urlStream;   
        l_urlStream = connection.getInputStream();   
        // 传说中的三层包装阿！   
        BufferedReader l_reader = new BufferedReader(new InputStreamReader(   
                l_urlStream));   
        while ((sCurrentLine = l_reader.readLine()) != null) {   
            sTotalString += sCurrentLine + "/r/n";   
  
        }   
        System.out.println(sTotalString);   
    }   
  
    public static void main(String[] args) throws IOException {   
        testPost();   
    }   
}    

这个程序我已经测试通过的。

如果除了post一些数据外，还要上传文件，可以使用下面两个函数之一：

/**
  * 通过HTTP协议向指定的网络地址发送文件。
  * @param params 传输过程中需要传送的参数
  * @param filename 需要传送的文件在本地的位置。
  * @throws TransferException
  */
public String doPost(HashMap params, InputStream stream)
  throws TransferException
{
  URLConnection conn = null; // URL连结对象。
  BufferedReader in = null; // 请求后的返回信息的读取对象。
  String keyName = null;
  try
  {
   conn = url.openConnection();
   conn.setUseCaches(false);
   conn.setDoOutput(true);
   conn.setRequestProperty("Content-Type", "multipart/form-data");
   
   // 设置参数
   if (params != null)
   {
    Set keys = params.keySet();
    // 遍历参数集取得参数名称和值
    if (!keys.isEmpty())
    {
     Iterator iterator = keys.iterator();
     while (iterator.hasNext())
     {
      keyName = (String) iterator.next();
      // 将参数加入到连接对象中
      conn.addRequestProperty(
       keyName,
       (String) params.get(keyName));
     }
    }
   }
   // 构造传输文件
   //FileInputStream fis = new FileInputStream(filename);
   BufferedInputStream bis = new BufferedInputStream( stream );
   ByteArrayOutputStream baos = new ByteArrayOutputStream();
   int ch;
   while ((ch = bis.read()) != -1)
    baos.write(ch);
   byte[] fileData = baos.toByteArray();
   
   // 传输文件。
   DataOutputStream dos =
    new DataOutputStream(
     new BufferedOutputStream(conn.getOutputStream()));
   dos.write(fileData);
   dos.flush();
   dos.close();
   
   
   in =
    new BufferedReader(
     new InputStreamReader(conn.getInputStream()));
   //in.close();
  }
  catch (FileNotFoundException fe)
  {
   InputStream err = ((HttpURLConnection) conn).getErrorStream();
   if (err == null)
    throw new TransferException("网络传输时发生的未知错误");
   in = new BufferedReader(new InputStreamReader(err));
  }
  catch (IOException ioe)
  {
   ioe.printStackTrace();
   throw new TransferException("网络传输错误！");
  }
                
        // 返回提示信息
        StringBuffer response = new StringBuffer();
  String line;
  try
  {
   while ((line = in.readLine()) != null)
    response.append(line + "/n");
   in.close();
  }
  catch (IOException ioe)
  {
   ioe.getStackTrace();
   throw new TransferException("网络响应错误！");
  }
  return response.toString();
}

/**
  * 通过HTTP协议向指定的网络地址发送文件。
  * @param params 传输过程中需要传送的参数
  * @param data 需要传送的内容。
  * @throws TransferException
  */
public InputStream doPost(HashMap params, byte[] data)
  throws TransferException
{
  URLConnection conn = null; // URL连结对象。
  BufferedReader in = null; // 请求后的返回信息的读取对象。
  String keyName = null;
  try
  {
   conn = url.openConnection();
   conn.setUseCaches(false);
   conn.setDoOutput(true);
   conn.setRequestProperty("Content-Type", "multipart/form-data");
   
   // 设置参数
   if (params != null)
   {
    Set keys = params.keySet();
    // 遍历参数集取得参数名称和值
    if (!keys.isEmpty())
    {
     Iterator iterator = keys.iterator();
     while (iterator.hasNext())
     {
      keyName = (String) iterator.next();
      // 将参数加入到连接对象中
      conn.addRequestProperty(
       keyName,
       (String) params.get(keyName));
     }
    }
   }
   
   // 传输文件。
   DataOutputStream dos =
    new DataOutputStream(
     new BufferedOutputStream(conn.getOutputStream()));
   dos.write(data);
   dos.flush();
   dos.close();
   return conn.getInputStream();
  }
  catch (FileNotFoundException fe)
  {
   InputStream err = ((HttpURLConnection) conn).getErrorStream();
   if (err == null)
    throw new TransferException("网络传输时发生的未知错误");
   else
    throw new TransferException("未知错误");
  }
  catch (IOException ioe)
  {
   ioe.printStackTrace();
   throw new TransferException("网络传输错误！");
  }
}

这两个函数是公司的员工写的，还没有用实际的例子测试过。


我们还可以使用htmlparse的jar包（该包及相关文档可以在http://htmlparser.sourceforge.net/这里下载）提供的函数对获取的html进行解析
例子如下：

import org.htmlparser.Node;
import org.htmlparser.NodeFilter;
import org.htmlparser.Parser;
import org.htmlparser.filters.TagNameFilter;
import org.htmlparser.tags.TableTag;
import org.htmlparser.util.NodeList;
public class TestHTMLParser {
public static void testHtml() {   
     try {   
         String sCurrentLine;   
         String sTotalString;   
         sCurrentLine = "";   
         sTotalString = "";   
         java.io.InputStream l_urlStream;   
         java.net.URL l_url = new java.net.URL("http://www.ideagrace.com/html/doc/2006/07/04/00929.html");   
         java.net.HttpURLConnection l_connection = (java.net.HttpURLConnection) l_url.openConnection();   
         l_connection.connect();   
         l_urlStream = l_connection.getInputStream();   
         java.io.BufferedReader l_reader = new java.io.BufferedReader(new java.io.InputStreamReader(l_urlStream));   
         while ((sCurrentLine = l_reader.readLine()) != null) {   
           sTotalString += sCurrentLine+"/r/n";   
         //  System.out.println(sTotalString);   
         }   
         String testText = extractText(sTotalString);   
         System.out.println( testText );   
   
     } catch (Exception e) {   
         e.printStackTrace();   
     }   
   
   }   
     
   public static String extractText(String inputHtml) throws Exception {   
     StringBuffer text = new StringBuffer();   
     Parser parser = Parser.createParser(new String(inputHtml.getBytes(),"GBK"), "GBK");   
     // 遍历所有的节点   
     NodeList nodes = parser.extractAllNodesThatMatch(new NodeFilter() {   
         public boolean accept(Node node) {   
           return true;   
         }   
     });   
   
     System.out.println(nodes.size()); //打印节点的数量   
     for (int i=0;i<nodes.size();i++){   
          Node nodet = nodes.elementAt(i);   
          //System.out.println(nodet.getText());    
         text.append(new String(nodet.toPlainTextString().getBytes("GBK"))+"/r/n");             
     }   
     return text.toString();   
   }   
     
   public static void test5(String resource) throws Exception {   
     Parser myParser = new Parser(resource);   
     myParser.setEncoding("GBK");   
     String filterStr = "table";   
     NodeFilter filter = new TagNameFilter(filterStr);   
     NodeList nodeList = myParser.extractAllNodesThatMatch(filter);   
     TableTag tabletag = (TableTag) nodeList.elementAt(11);   
         
   }   
   
   public static void main(String[] args) throws Exception {   
     // test5("http://www.ggdig.com");   
     testHtml();   
   }   
}