寒假日报day7

最近在过年以及躲避疫情。。。。

汇报一下组一斤的收获吧，其实也不多，但是着实费了很大的力气，我现在正在修生养息阶段，接下来先着手一下其他方面的内容，

首先，关于webmagic的，获取下一页的操作，目前能够成功的是使用Selenium的操作，在几天这个就成功了，但是之后的操作由于缺少函数，我现在还未找到合适的开发手段。

源码：

package com.ms.test;

import org.openqa.selenium.By;
import org.openqa.selenium.WebElement;
import org.openqa.selenium.chrome.ChromeDriver;

public class TestSelenium {

    public static void main(String[] args) {
        // System.setProperty("webdriver.chrome.driver","C:\Users\hp\AppData\Local\Google\Chrome\Application\chromedriver.exe");
        // 使用webdriver点击翻页按钮，达到获取第二页的内容。
        ChromeDriver chormDriver = new ChromeDriver();
        // 获取页面
        chormDriver.get("http://www.beijing.gov.cn/hudong/hdjl/com.web.search.mailList.flow");
        
        //测试1，获取页面源码
        //System.out.println(chormDriver.getCurrentUrl());
        
        
        //方法1
        // 点击下一页按钮获取下一页数据
        //getNextPageByNextButton(chormDriver);
        
        //方法2
        int num = 5;
        // 输入页数获取下一页数据
        for(int n=1;n<num;n++) {
            getNextPageByInputNum(chormDriver, num);
        }
        
    }

    
    
    private static void getNextPageByInputNum(ChromeDriver chormDriver, int num) {
        // TODO Auto-generated method stub
        WebElement textInput = chormDriver.findElement(By.id("pageNum"));
        // 在输入框输入“num”
        //将num转为string、类型
        String strNum= String.valueOf(num);
        textInput.sendKeys(strNum);
        // 根据id获取“确定”按钮,"page_text_new"只存在一个，所以可以正常使用
        WebElement submit = chormDriver.findElement(By.className("page_go_new"));
        submit.click();
        // 等待5秒
        try {
            Thread.sleep(2000);
            String newPage = chormDriver.getPageSource();
            chormDriver.findElementByXPath("//div[@class=list-group]/div/a/span/text()");
            //System.out.println(newPage);
        } catch (InterruptedException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        }
        System.out.println("通过页数得到："+chormDriver.getPageSource());
    }

    
    
    @SuppressWarnings("unused")
    private static void getNextPageByNextButton(ChromeDriver chormDriver) {
        // TODO Auto-generated method stub

        WebElement submit = chormDriver.findElement(By.id("nextPage"));
        submit.click();
        // 等待5秒
        try {
            Thread.sleep(2000);
            //String newPage = chormDriver.getPageSource();
            //System.out.println(newPage);
        } catch (InterruptedException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        }
        //System.out.println("通过下一页按钮得到："+chormDriver.findElementByCssSelector("div.pb-3 a"));
    }
}

这个比较麻烦的是配置环境，刚开始会报一些错误，如果你没有安装好的话，至于安装教程，给个链接吧：https://www.cnblogs.com/lipo/p/10273054.html

里面比较关键的是jar包与自己浏览器的版本问题，我安装的是chorme的driver：

版本匹配链接：

https://blog.csdn.net/yoyocat915/article/details/80580066

这些环境都准备好了的话，基本代码就没问题了，获取下一页就可以成功了，页面也会获取源码，但是获取的源码是String类型，url是不要想了，每个都一样，

还有一个改良版的下一页按钮问题，我这个呢，不是每次都能成功的，因为网络问题，获取参数到本地是需要时间的，我这里是3秒不到，所以我设置成了3秒

改良版代码：

package com.ms.work;

import org.openqa.selenium.JavascriptExecutor;
import org.openqa.selenium.chrome.ChromeDriver;


public class SeleniumForWork {

    
    //执行函数
    public static void main(String[] args) {
        //启动ChromeDriver
        ChromeDriver chromeDriver = new ChromeDriver();
        //获取网址
        chromeDriver.get("http://www.beijing.gov.cn/hudong/hdjl/com.web.search.mailList.flow");
        //通过下一页获取网页内容
        for(int i=1;i<5625;i++)
        {
            System.out.println("第"+i+"次：");
            getNextPageByNextButton(chromeDriver);
            
        }
    }

    private static void getNextPageByNextButton(ChromeDriver chromeDriver) {
        // TODO Auto-generated method stub
        //通过js实现页面跳转
        JavascriptExecutor driver_js=((JavascriptExecutor) chromeDriver);
        driver_js.executeScript("pageTurning(3);");
        //每次等待3秒
        try {
            Thread.sleep(3000);
        } catch (InterruptedException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        }
        //得到网页源码
        String pageHtml=chromeDriver.getPageSource();
        //pageHtml.
    }
}

这改良就在于直接获取它的js函数并执行这个函数，还有一种方法就是对string类型的页面分析，或者将页面下载下来，在进行分析，我一直在寻找对页面直接处理的方式，但是我还没找到。

在一个就是模拟post方法进行页面信息的回传，这个就需要获取它的json包了，但是我在尝试了n次之后，确定了他对这方面的反扒取对新手是多麽的。。打击大，我到现在只能获取他的假网页，先贴出来吧

post方法源码：

package com.ms.test;

import us.codecraft.webmagic.Page;
import us.codecraft.webmagic.Request;
import us.codecraft.webmagic.Site;
import us.codecraft.webmagic.Spider;
import us.codecraft.webmagic.model.HttpRequestBody;
import us.codecraft.webmagic.pipeline.FilePipeline;
import us.codecraft.webmagic.processor.PageProcessor;
import us.codecraft.webmagic.utils.HttpConstant;

//测试post请求
public class PostTest implements PageProcessor {

    private int i=2;
    Site site = Site.me()
        .setCharset("utf8")
        .addHeader("Accept", "application/json, text/javascript, */*; q=0.01")
        .addHeader("Accept-Encoding", "gzip, deflate")
        // .addHeader("Content-Length", "154")
        .addHeader("Content-Type", "text/json")
        .addHeader("Cookie",
                "HDJLJSID=CA4836B90F87481FF2F058B1CC55A9DB; COLLCK=450643787; __jsluid_h=ef4b0c26f04e5a1d5f45852c5ca56be8; _gscu_564121711=786606432o71ul19; X-LB=1.1.44.637df82f; sensorsdata2015jssdkcross=%7B%22distinct_id%22%3A%2216fac66039437c-020fb489e91b5b-c383f64-1044480-16fac660395485%22%7D; route=a2cec3cb28b0d59d32db7b39f74f56a5; _va_ses=*; __utrace=2ff9ccfaa6d808ac51b2801d1017a8bd; _va_id=04e0bd362a2b8f01.1578657775.19.1579601861.1579601759.")
        .addHeader("User-Agent",
                "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.117 Safari/537.36");

    @Override
    public Site getSite() {
        // TODO Auto-generated method stub
        return site;
    }

    @Override
    public void process(Page page) {
        // TODO Auto-generated method stub
        // 得到信息
        //page.putField("list", page.getHtml().xpath("//div[@class=list-group]/div/a/span/text()").all());
        System.out.println(page.getHtml().toString());
        Request request;
        request = new Request("http://www.beijing.gov.cn/hudong/hdjl/com.web.search.mailList.mailList.biz.ext");
        request.setRequestBody(HttpRequestBody.json("{begin:"+ i*6
                + ",length: 6,count: 33739,totalPage: 5624,currentPage:"+(i+1)
                + ",isCount: 'true',isFirst: 'false',isLast: 'false',size: 6}", "utf-8"));
        request.setMethod(HttpConstant.Method.POST);
        page.addTargetRequest(request);
        try {
            Thread.sleep(3000);
        } catch (InterruptedException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        }
        i++;
    }

    // 主函数
    public static void main(String[] args) {
        
        Spider.create(new PostTest()).addUrl("http://www.beijing.gov.cn/hudong/hdjl/com.web.search.mailList.flow") // 设置要抓取的页面
                .thread(5)
                //.addPipeline(new FilePipeline("C:\Users\hp\Desktop\数据\result3"))
                .run();
        
    }
}

这个只能获取假的，你输出网页信息就知道了，

这里有一个成功案例，

成功案例源码：

package com.ms.test;

import java.util.List;
import us.codecraft.webmagic.Page;
import us.codecraft.webmagic.Request;
import us.codecraft.webmagic.Site;
import us.codecraft.webmagic.Spider;
import us.codecraft.webmagic.model.HttpRequestBody;
import us.codecraft.webmagic.processor.PageProcessor;
import us.codecraft.webmagic.utils.HttpConstant;

/**
 * 抓取博客园上的所有文章(一)
 * 模拟POST请求
 * 步骤：
 * 1. F12查看源码，从网络查看实际请求地址，以及参数
 * 2. 判断当前页面是否为主界面，若为主界面，将当前界面的链接添加到抓取列表
 *    并模拟POST请求。
 * 3. 若当前请求链接与实际链接相匹配，且请求的页码在范围内，用List 将链接
 *    储存下来，并添加到抓取列表。模拟POST请求，将请求的页码的界面的所有
 *    链接添加到抓取列表中。
 * @author Ada
 *
 */
public class CnblogsByWebmagic implements PageProcessor{

    private Site site = Site.me()
            .setRetryTimes(3)
            .setSleepTime(1000)
            .setTimeOut(10000)
            .setCharset("utf-8")
            .addHeader("User-Agent", "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36");
    
    //实际请求地址：https://www.cnblogs.com/mvc/AggSite/PostList.aspx
    public static final String URL_LIST = "https://www.cnblogs.com/mvc/AggSite/PostList.aspx";
    
    //页码
    public static int pageNum = 1;
    
    public static int count = 0;
    
    //当前界面的链接地址：/html/body/div/div[4]/div[6]/div[3]/div[2]/h3/a
    
    public void process(Page page) {
        //用正则表达式判断当前页面是否为首页
        if (page.getUrl().regex("^https://www\.cnblogs\.com$").match()) {
            try {
                page.addTargetRequests(page.getHtml().xpath("//div[@class="post_item_body"]/h3/a/@href").all());
                pageNum ++;
                //模拟POST请求
                Request request = new Request(URL_LIST);
                request.setMethod(HttpConstant.Method.POST);
                
                //点击post请求右键选择复制 post 数据
                request.setRequestBody(HttpRequestBody.json(
                        "{CategoryType:'SiteHome',ParentCategoryId:0,CategoryId:808,PageIndex:"+
                                pageNum +",TotalPostCount:4000,ItemListActionName:'PostList'}",
                                "utf-8"));
                
                page.addTargetRequest(request);
                
            } catch (Exception e) {
                e.printStackTrace();
            }
            
            //爬取200页的数据
        }else if (page.getUrl().regex(URL_LIST).match() && pageNum <= 200) {
            try {
                Thread.sleep(5000);
                List<String> urls = page.getHtml().xpath("//div[@class='post_item_body']/h3/a/@href").all();
                page.addTargetRequests(urls);
                
                //模拟POST请求
                Request request = new Request(URL_LIST);
                request.setMethod(HttpConstant.Method.POST);
                
                //点击post请求右键选择复制 post 数据
                request.setRequestBody(HttpRequestBody.json(
                        "{CategoryType:'SiteHome',ParentCategoryId:0,CategoryId:808,PageIndex:"+
                                pageNum +",TotalPostCount:4000,ItemListActionName:'PostList'}",
                                "utf-8"));
                
                page.addTargetRequest(request);
                
                System.out.println("爬取第:"+ pageNum + "*********************************");
                
            } catch (Exception e) {
                e.printStackTrace();
            }
        } else {
            page.putField("抓取的内容", page.getHtml().xpath("//a[@id='cb_post_title_url']/text()").toString());
            count ++;
        }
        
    }


    public Site getSite() {
        return site;
    }
    
    public static void main(String[] args) {
        Spider.create(new CnblogsByWebmagic()).addUrl("https://www.cnblogs.com").thread(3).run();
        
        System.out.println("抓取了"+ count +"条数据");
    }
}

这个我自认为是模拟的很像了，但是它不对，可能是我试验的还不够，我在之后会继续进行实验的，

今天就到此吧。