【Java爬虫-HtmlUnit学习总结】

htmlunit 是一款开源的java 页面分析工具，读取页面后，可以有效的使用htmlunit分析页面上的内容。项目可以模拟浏览器运行，被誉为java浏览器的开源实现。是一个没有界面的浏览器，运行速度迅速。

 

环境搭建

Maven依赖
    <dependency>
    <groupId>net.sourceforge.htmlunit</groupId>
    <artifactId>htmlunit</artifactId>
    <version>2.15</version>
    </dependency>

1. 基本使用

　　final WebClient webClient=new WebClient();//创建对象
　　final HtmlPage page=webClient.getPage("https://www.baidu.com");//获取页面
　　System.out.println(page.asText());//asText() 顾名思义 获取所有文本
　　webClient.closeAllWindows();//关闭窗口 

　　　　List<HtmlAnchor> achList=page.getAnchors();
　　　　for(HtmlAnchor ach:achList){
　　　　　　System.out.println(ach.getHrefAttribute());
   　　 }

1.HtmlUnit对Javascript的支持不是很好 
2.HtmlUnit对CSS的支持不是很好所以我们修改一下，

    final WebClient webClient=new WebClient();
    webClient.getOptions().setCssEnabled(false);//关闭css
    webClient.getOptions().setJavaScriptEnabled(false);//关闭js
    final HtmlPage page=webClient.getPage("https://www.baidu.com");
    System.out.println(page.asText());
    webClient.closeAllWindows();

1.1 模拟特定浏览器

//模拟chorme浏览器，其他浏览器请修改BrowserVersion.xxx常量
WebClient webClient=new WebClient(BrowserVersion.CHROME);

 1.2 代理服务器的配置

代理的配置很简单，只需要配置好地址，端口，用户名与密码即可

　　final WebClient webClient = new WebClient(BrowserVersion.CHROME,"http://127.0.0.1",8087);
　　final DefaultCredentialsProvider credentialsProvider = (DefaultCredentialsProvider) webClient.getCredentialsProvider();
　　credentialsProvider.addCredentials("username","password");

 1.3 模拟表单的提交

　　//获取表单
　　final HtmlForm form = page.getFormByName("form");
　　//获取提交按扭
　　final HtmlSubmitInput button = form.getInputByName("submit");
　　//一会得输入的
　　final HtmlTextInput textField = form.getInputByName("userid");
　　textField.setValueAttribute("test");
　　//点击提交表单
　　final HtmlPage page = button.click(); 

 1.4 获取页中所有的链接

网络爬虫中主要目的就是获取页中所有的链接，代码如下：

　　List<HtmlAnchor> achList=page.getAnchors();
　　for(HtmlAnchor ach:achList){
　　　　System.out.println(ach.getHrefAttribute());
    }

 1.5 使用Htmlunit上传文件

使用HtmlUnit模拟浏览器操作时，我们有时候要做一些上传文件操作。这就要利用HtmlFileInput这个类了。

通过page获得HtmlForm，再通过HtmlForm获得HtmlFileInput

　　HtmlForm form = page.getFormByName("form");//如果有form的话
　　//如果在获取HtmlForm时，发现form表单没有name属性，也可以通过下列语句获取
　　//HtmlForm form = page.getForms().get(0);
　　HtmlFileInput fileInput = form.getInputByName("fileInput");
　　//通过设置valueAttribute来确定上传哪个文件
　　fileInput.setValueAttribute("D:\111.jpg");
　　//最后按下提交按钮提交
　　HtmlElement submitBtn = page.getElementByName("submit");
　　submitBtn.click();

 1.6 查找特定元素

通过get或者XPath可以从HtmlPage中获得特定的Html元素，如下例子

1.6.1 通过get方法获取

XPath通常用于无法通过Id搜索或者需要更为复杂的搜索时，XPath的相关教程Xpath

    //同样可以打印出hed的内容,//div中//表示搜索整个文档中的div,并将这些div
    //放入list中，然后获取第一个div
    final HtmlDivision div = (HtmlDivision) page.getByXPath("//div").get(0);
    System.out.println(div.asXml());//asXml() 转换为xml形式

 1.6.3 通过CSS选择器(Selector)获取

• querySelector(String selectors) 获取匹配选择器的第一个元素

• DomNodeList<DomNode> domNodeList=querySelectorAll(String selectors) 获取所有匹配选择器的元素

　　// 获取当前页的所有class="i"元素。返回 DOM节点列表
　　DomNodeList<DomNode> iList = page.querySelectorAll(".i");
　　// 遍历
　　for(DomNode i: iList) {
　　　　// 选择 p 元素
　　　　DomNode p = i.querySelector("p");
　　　　// asText() 返回 元素文本， contains是 String的方法，查找 "回0 " 字符串
　　　　if(p.asText().contains("回0 ")) {
　　　　　　// 这里就是找到了 回帖为0的帖子
　　　　　　// 我们用 父元素 div.i 来继续获取 子元素 a 标签。
　　　　　　HtmlAnchor a = (HtmlAnchor)i.querySelector("a");
　　　　　　// 获取 a 标签的属性 href ，就是帖子详情的地址啦！！
　　　　　　String href = a.getAttribute("href");
　　　　　　System.out.println(href);
　　}

 2.WebClient常用使用流程及参数设置

    //1.创建对象
    WebClient webClient=new WebClient(BrowserVersion.CHROME);
    //2.设置参数
    //启动js
    webClient.getOptions().setJavaScriptEnabled(true);
    //关闭css渲染
    webClient.getOptions().setCssEnabled(false);
    //启动重定向
    webClient.getOptions().setRedirectEnabled(true);
    //启动cookie管理
    webClient.setCookieManager(new CookieManager());
    //启动ajax代理
    webClient.setAjaxController(new NicelyResynchronizingAjaxController());
    //js运行时错误，是否抛出异常
    webClient.getOptions().setThrowExceptionOnScriptError(false);
    //3.获取页面
    HtmlPage page=webClient.getPage(url);
    //等待js渲染执行 waitime等待时间(ms)
    webClient.waitForBackgroundJavaScript(waitime);
    //4.解析页面
    ......