使用JAVA爬取博客里面的所有文章

主要思路：

1、找到列表页。

2、找到文章页。

3、用一个队列来保存将要爬取的网页，爬取队头的url，如果队列非空，则一直爬取。

4、如果是列表页，则抽取里面所有的文章url进队；如果是文章页，则直接爬取至本地。

一个博客是起始页url是这样的：

http://www.cnblogs.com/joyeecheung/

第n页是这样的：

http://www.cnblogs.com/joyeecheung/default.html?page=n

文章的url是这样的：

http://www.cnblogs.com/joyeecheung/p/[0-9]+.html

代码如下：

public class boke {
    
    
    
    private Queue<String> data = new LinkedList<String>();
    
    //文章页面
    String PAGE = "http://www.cnblogs.com/joyeecheung/p/[0-9]+.html";
    
    Pattern p = Pattern.compile(PAGE);
    
    
    
    public void action(String target) throws IOException{
        
        Matcher m = p.matcher(target);
        
        //如果是文章页面则读取
        if(m.find()){
            
            URL url = new URL(target);
            
            HttpURLConnection conn = (HttpURLConnection)url.openConnection();
            
            conn.connect();
            
            InputStream in = conn.getInputStream();
            
            
            
            
            byte[] buf = new byte [1024];
            
            int len = 0;
            
            //分割url，把文章的编号作为文件的名字
            String [] bufen = target.split("/");
            
            String name = bufen[bufen.length-1];
            
            name = name.replaceAll("html", "txt");
            
            
            File file = new File(name);
            
            FileOutputStream fp = new FileOutputStream(file);
            
            while((len=in.read(buf))!=-1){
                
                fp.write(buf, 0, len);
                
            }
            
            fp.close();
        
            
        }
        //如果是列表页面
        //抽取里面的文章页面连接
        else{
            
            URL url = new URL(target);
            
            HttpURLConnection conn = (HttpURLConnection)url.openConnection();
            
            conn.connect();
            
            InputStream in = conn.getInputStream();
            
            byte [] buf = new byte[1024];
            
            //把列表页的内容放到ByteArrayOutputStream中
             ByteArrayOutputStream outStream = new ByteArrayOutputStream();
             
             int len = 0;
                
                while((len=in.read(buf))!=-1){
                    //System.out.println(len);
                    outStream.write(buf,0,len);
                }
                in.close();
                outStream.close();
             
                String content = new String(outStream.toByteArray());
                
                Matcher page = p.matcher(content);
                
                //抽取文章的url
                while(page.find()){
                    
                    //将抽取的文章url进队
                    data.add(page.group());
                    
                }
            
            
            
        }
        
        
        
    }
    
    public static void main(String args[]) throws IOException{
        
        
        boke test = new boke();
        
        //起始页面
        String start = "http://www.cnblogs.com/joyeecheung/";
        
        test.data.add(start);
        
        //列表页面
        String page = "http://www.cnblogs.com/joyeecheung/default.html?page=";
        
        
        
        //总页数
        int total =15;
        
        //将15页列表页进队
        for(int i=2;i<=total;i++)
            test.data.add(page+i);
        
        
        
        //队列非空则一直爬取
        while(!test.data.isEmpty())
            test.action(test.data.poll());
        
        
        
        
        
        
        
        
        
        
    }

}

提取到的文章url效果：

爬取后效果：

文章内容效果：

博客里面右边会有推荐的文章栏，还有阅读排行里面的文章，这里的文章url会对我们后面提取到的url造成重复，怎么办呢？

我直接将文章编号作为文件名，如果重复的话，后一个会覆盖前面的内容。

直接用队列存储url，用循环来爬取内容，效率一般。高效率的爬虫支持多线程爬取，在此就不展开了。

这次对我关注的Joyee的文章进行了爬取，只是用作测试程序效果，没有恶意，如有冒犯，请联系删除，谢谢。