web爬虫工具由jsoup改为htmlunit的原因分析

起因：要抓取多部电影的上映时间，每部电影的上映时间都需要请求外部网页来获取，起初用的是jsoup抓取，但是73个请求中有10几个请求都无法获取页面的上映时间节点元素，后来改用了htmlunit进行抓取，73个请求中只有一个请求获取不到页面的上映时间节点元素。

pom文件添加如下依赖：

        <dependency>
            <groupId>net.sourceforge.htmlunit</groupId>
            <artifactId>htmlunit</artifactId>
            <version>2.19</version>
        </dependency>
        <dependency>
            <groupId>xml-apis</groupId>
            <artifactId>xml-apis</artifactId>
            <version>1.4.01</version>
        </dependency>
   

httpunit抓取外部网页的example：

                    WebClient webClient = new WebClient(BrowserVersion.CHROME);
                    webClient.getOptions().setUseInsecureSSL(true);
                    webClient.getOptions().setJavaScriptEnabled(true);//启用javascript
                    webClient.getOptions().setCssEnabled(false);//禁用css
                    webClient.getOptions().setThrowExceptionOnScriptError(false);
                    webClient.getOptions().setTimeout(100000);//设置超时时间为100S
                    webClient.getOptions().setDoNotTrackEnabled(false);
                    HtmlPage page = webClient.getPage(url);//url此处要改为自己要抓取的外部网页
                    List<HtmlSpan> spans = (List<HtmlSpan>)page.getByXPath("//span[@class='information-item']");//获取页面的clsss="information-item"的span元素集合(注：请根据自己的实际情况修改xpath路径）
                    String onShowDate;
                    if (spans.size()==0) {
                        System.out.println("无法获取上映时间的电影名字：***" );
                    } else {
                        onShowDate = spans.get(0).asText();//获取到的span集合的第一个元素就是上映时间结点（注：根据自己的实际情况进行修改）
                        System.out.println(onShowDate);
                   }