利用httpclient、htmlunit、selenium 做简单爬虫，抓取页面数据

项目过程中，总会遇到一些变态的或者特殊的需求，需要我们去抓取自己的、或者别人的页面，来获取我们想要的数据。

（即简单的爬虫）抓取页面的方法有很多，常用的：

1，Httpclient

@Test
    public void crawSignHtmlTest() {
        CloseableHttpClient httpclient = HttpClients.createDefault();
        try {
            //创建httpget
            HttpGet httpget = new HttpGet("http://127.0.0.1:8080/index.html?companyName=testCompany");

            httpget.setHeader("Accept", "text/html, */*; q=0.01");
            httpget.setHeader("Accept-Encoding", "gzip, deflate,sdch");
            httpget.setHeader("Accept-Language", "zh-CN,zh;q=0.8");
            httpget.setHeader("Connection", "keep-alive");
            httpget.setHeader("User-Agent", "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/37.0.2062.124 Safari/537.36)");

            //System.out.println("executing request " + httpget.getURI());
            //执行get请求
            CloseableHttpResponse response = httpclient.execute(httpget);
            try {
                //获取响应实体
                HttpEntity entity = response.getEntity();
                //响应状态
                System.out.println(response.getStatusLine());
                if(entity != null) {
                    //响应内容长度
                    //System.out.println("response length: " + entity.getContentLength());
                    //响应内容
                    System.out.println("response content: ");
                    System.out.println(EntityUtils.toString(entity));
                }
            } finally {
                response.close();
            }
        } catch (ClientProtocolException e) {
            e.printStackTrace();
        } catch (ParseException e) {
            e.printStackTrace();
        } catch (IOException e) {
            e.printStackTrace();
        } finally {
            //关闭链接,释放资源
            try {
                httpclient.close();
            } catch(IOException e) {
                e.printStackTrace();
            }
        }
    }

利用 httpclient 抓取到数据为该 index.html 静态页面的源码，如果 html 页面中有 js 需要执行的代码的，此时抓到的页面，JS是没有执行的。

如果想要抓到JS 渲染之后的 html 源码，则可以通过 htmlunit 来抓取。

 

2，Htmlunit

引入 htmlunit 的jar，调用，可得到JS 执行之后的代码

@Test
    public void htmlUnitSignTest() throws Exception {
        WebClient wc = new WebClient(BrowserVersion.CHROME);
        wc.setJavaScriptTimeout(5000);
        wc.getOptions().setUseInsecureSSL(true);//接受任何主机连接 无论是否有有效证书
        wc.getOptions().setJavaScriptEnabled(true);//设置支持javascript脚本
        wc.getOptions().setCssEnabled(false);//禁用css支持
        wc.getOptions().setThrowExceptionOnScriptError(false);//js运行错误时不抛出异常
        wc.getOptions().setTimeout(100000);//设置连接超时时间
        wc.getOptions().setDoNotTrackEnabled(false);
        wc.getOptions().setActiveXNative(true);

        wc.addRequestHeader("Accept", "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3");
        wc.addRequestHeader("Accept-Encoding", "gzip, deflate, br");
        wc.addRequestHeader("Accept-Language", "zh-CN,zh;q=0.9");
        wc.addRequestHeader("Connection", "keep-alive");
        wc.addRequestHeader("User-Agent", "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.108 Safari/537.36");


        //HtmlPage htmlpage = wc.getPage("http://127.0.0.1:8081/demo.html?companyName=testCompany");
        HtmlPage htmlpage = wc.getPage("http://127.0.0.1:8081/sign.html?companyName=testCompany&p=1");
        String res = htmlpage.asXml();
        //处理源码
        System.out.println(res);

//        HtmlForm form = htmlpage.getFormByName("f");
//        HtmlButton button = form.getButtonByName("btnDomName"); // 获取提交按钮
//        HtmlPage nextPage = button.click();
//        System.out.println("等待20秒");
//        Thread.sleep(2000);
//        System.out.println(nextPage.asText());
        wc.close();
    }

htmlunit 通过创建 new WebClient（）来构建一个浏览器模拟器，然后将获取到的 html 源码来进行执行 JS 渲染，最后得到一个 JS 执行后的 html 源码。

 但是在一些特殊的场景中，如 抓取画布 canvas 绘制出来的 base64 数据时，发现数据有问题，和浏览器上直接执行的结果不一致（巨坑，在这个上浪费了很多时间）。

 

3，Selenium

引入 selenium的jar，另外需下载ChromeDriver.exe，调用也可得到JS 执行之后的代码

 

public static void main(String[] args) throws IOException {

        System.setProperty("webdriver.chrome.driver", "/srv/chromedriver.exe");// chromedriver服务地址
        ChromeOptions options = new ChromeOptions();
        options.addArguments("--headless");
        //WebDriver driver = new ChromeDriver(options); // 新建一个WebDriver 的对象，但是new 的是谷歌的驱动

        WebDriver driver = new ChromeDriver();
        String url = "http://127.0.0.1:8080/index.html?companyName=testCompany";
        driver.get(url); // 打开指定的网站

        //获取当前浏览器的信息
        System.out.println("Title:" + driver.getTitle());
        System.out.println("currentUrl:" + driver.getCurrentUrl());


        WebElement imgDom = ((ChromeDriver) driver).findElementById("imgDom");
        System.out.println(imgDom.getText());

        //String imgBase64 = URLDecoder.decode(imgDom.getText(), "UTF-8");
        //imgBase64 = imgBase64.substring(imgBase64.indexOf(",") + 1);
        byte[] fromBASE64ToByte = Base64Util.getFromBASE64ToByte(imgDom.getText());
        FileUtils.writeByteArrayToFile(new File("/srv/charter44.png"),fromBASE64ToByte);
        driver.close();
    }

 

selenium 也是通过 new WebDriver（） 来构建一个 浏览器模拟器，不仅将获取到的 html 源码来进行执行 JS 渲染，最后得到一个 JS 执行后的 html 源码，连上述 htmlunit 执行中对画布 canvas 的不友好支持，在这里也得到了完美解决。selenium 赞！！！