Java 爬虫简单起步

JAVA第一步是环境，环境配好后开始编写，这里用的代码编辑器是IDEA（据说很好用，可惜用不惯，还找了个汉化包）

// 定义即将访问的链接
        String url = "http://www.baidu.com";
        // 定义一个字符串用来存储网页内容
        String result = "";
        // 定义一个缓冲字符输入流
        BufferedReader in = null;
        try
        {
            // 将string转成url对象
            URL realUrl = new URL(url);

            //HttpURLConnection conn = (HttpURLConnection) realUrl.openConnection();
            // 初始化一个链接到那个url的连接
            URLConnection connection = realUrl.openConnection();
            connection.setReadTimeout(100);
            connection.setRequestProperty("User-Agent", "Mozilla/4.0 (compatible; MSIE 5.0; Windows NT; DigExt)");
            // 开始实际的连接
            connection.connect();
            // 初始化 BufferedReader输入流来读取URL的响应
            in = new BufferedReader(new InputStreamReader(connection.getInputStream()));
            // 用来临时存储抓取到的每一行的数据
            String line;
            while ((line = in.readLine()) != null)
            {
                // 遍历抓取到的每一行并将其存储到result里面
                result += line + "
";
            }
        } catch (Exception e)
        {
            System.out.println("发送GET请求出现异常！" + e);
            e.printStackTrace();
        } // 使用finally来关闭输入流
        finally
        {
            try
            {
                if (in != null)
                {
                    in.close();
                }
            } catch (Exception e2)
            {
                e2.printStackTrace();
            }
        }
        System.out.println(result);

代码见注释很多 ，适合初学，分享给大家。

实现结果，获取百度首页源代码。

下一步就是html格式化或者正则获取等操作。