用JAVA实现简单爬虫循环抓取

原理：
1.给一个URL，爬虫爬取这个url；
2.url中提取HTML中a 标签内容获取新的url；
3.再通过新的url再循环以上；

实现代码：

import java.io.*;
import java.net.*;

public class Dome1 {

    public static void main(String[] args){
    String s1="<a href="http://";
    String url="http://www.dangdang.com";
    String [] urlconntion=new String[50];
    Crawler cr=new Crawler(url,s1,urlconntion);
    int i=0;
    String s2=cr.find();
    //相当于DFS算法，如果爬取到最深的url，已无新的url时，则返回最开始的url开始循环；
    while(urlconntion[30]==null){
        if(s2==null){
            cr=new Crawler(url,s1,urlconntion);
            s2=cr.find();
        }
        System.out.println(s2);
        cr=new Crawler(s2, s1,urlconntion);
        urlconntion[i++]=s2;        
        s2=cr.find();
    }
    System.out.println("打印完毕");
    }
}

class Crawler {

    String url=null;
    String prefix=null;
    //爬去过的url地址集合
    String[] urlconntion=null;

    //爬虫类的构造函数
    Crawler(String url,String prefix,String[] urlconntion){

        this.url=url;
        this.prefix=prefix;
        this.urlconntion=urlconntion;

    }

    //根据类的url开始爬取新的url实现循环爬取
    public String find(){
        URL u=null;
        URLConnection con=null;
        BufferedReader bfr=null;
        String rpurl=null;
        try {
            u=new URL(url);
            con=u.openConnection();
            InputStream is=con.getInputStream();
            bfr=new BufferedReader(new InputStreamReader(is));
            String s;
            while((s=bfr.readLine())!=null){
                if(s.indexOf(prefix)>=0)
                     {

                        rpurl=getUrl(s);
                        if(urlrepetition(rpurl)!=-1){
                            return rpurl;
                        }

                     }

            }
        } catch (Exception e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        }finally{
            try {
                bfr.close();
            } catch (IOException e) {
                // TODO Auto-generated catch block
                e.printStackTrace();
            }
        }
        return null;

    }

    //判断url是否被爬去过，如果被爬去可返回-1，如果没有则返回1
    public int urlrepetition(String rpurl){

        int i=0;
        while(urlconntion[i]!=null){
            if(urlconntion[i++].equals(rpurl)){
                return -1;
            }
        }
        return 1;
    }

    //重爬去过的源码中截取url地址；
    public String getUrl(String s){

        int index1=s.indexOf(prefix);
        s=s.substring(index1+9);
        int index2=s.indexOf(""");
        s=s.substring(0,index2);
        return s;
    }

}

a标签的内容形式很多，如href=”www.baidu.com” target=”_blank”,我们只需要www.baidu.com,所以我们只需要通过String的，substring函数来截取这部分即可得到新的url并返回。

程序运行结果：

存在的问题：
1.通过java获取的网页无法识别中文，出现乱码
2.获取的url内容没判断是否合法或是否能使用，如果url无法使用则程序会出现异常
3.

while((s=bfr.readLine())!=null){
                if(s.indexOf(prefix)>=0)
                     {

                        rpurl=getUrl(s);
                        if(urlrepetition(rpurl)!=-1){
                            return rpurl;
                        }

                     }

            }

url的源码内容是按行读取的，如果这一行第一个url获取被爬去过了，那么这一行就被跳过去了，无法获取这一行中第二个url。