webmagic 二次开发爬虫 爬取网站图片

webmagic的是一个无须配置、便于二次开发的爬虫框架，它提供简单灵活的API，只需少量代码即可实现一个爬虫。

webmagic介绍　编写一个简单的爬虫

webmagic的使用文档：http://webmagic.io/docs/

webmagic的设计文档：webmagic的设计机制及原理-如何开发一个Java爬虫

1.编写一个核心的url过滤类

package com.xwer.spider.main;

import java.util.List;

import org.apache.log4j.Logger;

import us.codecraft.webmagic.Page;
import us.codecraft.webmagic.Site;
import us.codecraft.webmagic.processor.PageProcessor;
import us.codecraft.webmagic.utils.UrlUtils;

/**
 * 定制爬虫逻辑的核心类
 * @author xwer
 *
 */
public class MM_Processor implements PageProcessor {
    private Logger logger = Logger.getLogger(this.getClass());
    // 部分一：抓取网站的相关配置，包括编码、抓取间隔、重试次数等
    private Site site = Site.me().setRetryTimes(5).setSleepTime(1000);
    // 网页匹配规则
    private String urlPattern;
    public MM_Processor(String startUrl, String urlPattern) {
        // 设置所属域
        this.site = Site.me().setDomain(UrlUtils.getDomain(startUrl));
        this.urlPattern = urlPattern;
    }

    @Override
    // process是定制爬虫逻辑的核心接口，在这里编写抽取逻辑
    public void process(Page page) {
        site.setUserAgent("Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; WOW64; Trident/6.0)");
        //图片抓取规则
        String imgRegex3 = "http://mm.howkuai.com/wp-content/uploads/20[0-9]{2}[a-z]/[0-9]{2}/[0-9]{2}/[0-9]{1,4}.jpg";
        // 获取目标链接 例如 http://www.meizitu.com/a/5535.html
        List<String> requests = page.getHtml().links().regex(urlPattern).all();
        logger.info("获取到的目标链接是: "+requests);
        logger.info("添加链接( "+requests.size()+" )条到集合");
                  
         //将获取的链接存入到targetRequests中(list集合)
        page.addTargetRequests(requests);
        logger.info("队列中存储的链接数是: "+page.getResultItems().getAll().size());
        
        // 图片的title,标题名称,用于设定文件夹的名称 
         String imgHostFileName = page.getHtml().xpath("//title/text()").replace("\\p{Punct}", "").toString();
        logger.info("获取的标题是"+imgHostFileName);
        
        List<String> listProcess = page.getHtml().regex(imgRegex3).all();
        logger.info("存入的图片地址: "+listProcess);
        // 此处将标题一并抓取，之后提取出来作为文件名
        listProcess.add(0, imgHostFileName);
        logger.info("存入的图片链接数量是: "+listProcess.size());
        //将获取到的页面的数据放到resultItems集合中(map)
        page.putField("img", listProcess);
    }
    @Override
    public Site getSite() {
        return site;
    }
}

2.对获取的结果进行持久化处理

package com.xwer.spider.main;

import java.util.ArrayList;
import java.util.List;
import java.util.Map;
import org.apache.log4j.Logger;
import com.xwer.spider.utils.DownLoadUtils;
import us.codecraft.webmagic.ResultItems;
import us.codecraft.webmagic.Task;
import us.codecraft.webmagic.pipeline.Pipeline;

/**
 * 处理
 * @author xwer
 *
 */
public class MM_Pipeline implements Pipeline {
    private Logger logger = Logger.getLogger(this.getClass());
    private String path;

    public MM_Pipeline() {
        setPath("/MM/");
    }

    public MM_Pipeline(String path) {
        setPath(path);
    }

    public void setPath(String path) {
        this.path = path;
    }

    // 处理下载的方法
    @Override
    public void process(ResultItems resultItems, Task task) {
        logger.info("到了process" + resultItems);
        String fileStorePath = this.path;
        for (Map.Entry<String, Object> entry : resultItems.getAll().entrySet()) {
            if (entry.getValue() instanceof List) {
                List<String> list = new ArrayList<String>((List) entry.getValue());    
                //取出之前存的网页的标题,拼接成一个新的文件夹名称
                fileStorePath = new StringBuffer(fileStorePath)
                                    .append(list.get(0))
                                    .append("\\").toString();
                //遍历图片链接list
                for (int i = 1; i < list.size(); i++) {
                    // 获取文件唯一名字
                    String realname = DownLoadUtils.subFileName(list.get(i));
                    String uuidname = DownLoadUtils.generateRandonFileName(realname);
                    // 这里通过自己写的下载工具前抓取到的图片网址，并放在对应的文件中
                    try {
                        DownLoadUtils.download(list.get(i), uuidname, fileStorePath);
                        logger.info("文件" + uuidname +"已经下载完毕");
                    } catch (Exception e) {
                        logger.warn("文件下载异常" + list.get(i));
                        e.printStackTrace();
                    }
                }
            }
            else {
                System.out.println(entry.getKey() + ":\t" + entry.getValue());
            }
        }
    }
}

3.编写一个下载图片的工具类

package com.xwer.spider.utils;

import java.io.File;
import java.io.FileOutputStream;
import java.io.InputStream;
import java.io.OutputStream;
import java.net.URL;
import java.net.URLConnection;
import java.util.UUID;

/**
 * 下载相关的工具类
 * 
 * @author xwer
 *
 */
public class DownLoadUtils {

    /**
     * 下载图片工具
     * 
     * @param urlString
     *            图片链接地址
     * @param filename
     *            图片的文件名字
     * @param savePath
     *            图片保存的路径
     * @throws Exception
     */
    public static void download(String urlString, String filename, String savePath) throws Exception {
        // 构造URL
        URL url = new URL(urlString);
        // 打开连接
        URLConnection con = url.openConnection();
        // 设置请求头
        con.addRequestProperty("User-Agent", "Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; WOW64; Trident/6.0)");
        // 设置请求超时为5s
        con.setConnectTimeout(5 * 1000);
        // 输入流
        InputStream is = con.getInputStream();

        // 1K的数据缓冲
        byte[] bs = new byte[1024];
        // 读取到的数据长度
        int len;
        // 输出的文件流
        File sf = new File(savePath);
        if (!sf.exists()) {
            sf.mkdirs();
        }
        OutputStream os = new FileOutputStream(sf.getPath() + "\\" + filename);
        // 开始读取
        while ((len = is.read(bs)) != -1) {
            os.write(bs, 0, len);
        }
        // 完毕，关闭所有链接
        os.close();
        is.close();
    }

    /**
     * 截取真实文件名
     * 
     * @param fileName
     * @return
     */
    public static String subFileName(String fileName) {
        // 查找最后一个 \出现位置
        int index = fileName.lastIndexOf("\\");
        if (index == -1) {
            return fileName;
        }
        return fileName.substring(index + 1);
    }

    /**
     * 获得随机UUID文件名
     * 
     * @param fileName
     * @return
     */
    public static String generateRandonFileName(String fileName) {
        // 获得扩展名
        String ext = fileName.substring(fileName.lastIndexOf("."));
        return UUID.randomUUID().toString().replace("-", "") + ext;
    }
}

4.配置一个日志的输出文件(用户打印日志)

### direct log messages to stdout ###
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.Target=System.out
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d{ABSOLUTE} %5p %c{1}:%L - %m%n

### direct messages to file mylog.log ###
log4j.appender.file=org.apache.log4j.FileAppender
log4j.appender.file.File=c:/mylog3.log
log4j.appender.file.layout=org.apache.log4j.PatternLayout
log4j.appender.file.layout.ConversionPattern=%d{ABSOLUTE} %5p %c{1}:%L - %m%n

### set log levels - for more verbose logging change 'info' to 'debug' ###
log4j.rootLogger=info, stdout ,file

5.编写程序的入口类

package com.xwer.spider.main;

import java.util.regex.Pattern;

import org.junit.Test;



import us.codecraft.webmagic.Spider;
import us.codecraft.webmagic.scheduler.FileCacheQueueScheduler;

public class MM_test {
    public static void main(String[] args) {
        //图片的存放路径,PiPline需要用到
        String fileStorePath = "D:\\test\\";
        
        //过滤网页的正则  http://www.meizitu.com/a/more_1.html
        String urlPattern = "http://www.meizitu.com/[a-z]/[0-9]{1,4}.html";
        //自定义的解析器核心
        MM_Processor mmSprider = new MM_Processor("http://www.meizitu.com/", urlPattern);
        
        //设置一些种子链接
        String[] urls ={"http://www.meizitu.com/",
                        "http://www.meizitu.com/a/4221.html",
                        "http://www.meizitu.com/a/4467.html",
                        "http://www.meizitu.com/a/5467.html",
                        "http://www.meizitu.com/a/5065.html",
                        "http://www.meizitu.com/a/4278.html",
                        "http://www.meizitu.com/a/699.html",
                        };
        //启动爬虫
        Spider.create(mmSprider).addUrl(urls)
                                .setScheduler(new FileCacheQueueScheduler("D:\\webmagic\\cach"))
                                .addPipeline(new MM_Pipeline(fileStorePath))
                                .thread(10)
                                .run();
    }
    
    
    

6. 爬取结果