深夜睡不着，去某乎爬点照片

框架：webmagic（java）

目标：随便找个爱爆照的小姐姐，将她所有发的照片整理出一个文件夹

代码写了个开头，数据处理和思路还要在理一下。

import us.codecraft.webmagic.Site;
import us.codecraft.webmagic.Spider;
import us.codecraft.webmagic.pipeline.JsonFilePipeline;
import us.codecraft.webmagic.processor.PageProcessor;

public class Main  {


    public static void main(String args[]) {
        Spider.create(new zhihu())
                
                .addUrl("https://www.zhihu.com/people/JudyZhao/answers")
                .addPipeline(new JsonFilePipeline("C:\judy\"))
                //开启5个线程抓取
                .thread(5)
                //启动爬虫
                .run();
    }

}
class zhihu implements PageProcessor{
    private Site site = Site.me().setRetryTimes(3).setSleepTime(1000);
        @Override
    public void process(Page page) {
            page.putField("photo", page.getHtml().xpath("//div[@class=RichContent-inner]//img/@src").toString());
            if (page.getResultItems().get("photo") == null) {
                //skip this page
                page.setSkip(true);
            }
        page.addTargetRequests(page.getHtml().links().regex("https://www\.zhihu\.com/question/\d+/answer/\d+").all());

    }


    public Site getSite() {
        return site;
    }
}

效果图如上，真的很好看：）