（一）问候 Jsoup

第一节： Jsoup 简介

Jsoup简介

jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。

我们在爬虫采集网页领域 主要作用是 用HttpClient获取到网页后 具体的网页提取需要的信息的时候 ，就用到Jsoup，Jsoup可以使用强大的类似Jquery,css选择器，来获取需要的数据；

Jsoup官方地址：https://jsoup.org/

Jsoup最新下载：https://jsoup.org/download

Jsoup文档：https://jsoup.org/cookbook/introduction/parsing-a-document

最新版Maven地址：

<dependency>
    <groupId>org.jsoup</groupId>
    <artifactId>jsoup</artifactId>
    <version>1.10.2</version>
</dependency>

第二节： Jsoup HelloWorld 实现

 

Jsoup HelloWorld实现

我们用Jsoup来提取下http://www.cnblogs.com/ 博客园的 网页title 标题  和 口号；

 这里我们要用到前面讲的HttpClient来获取网页内容：

 pom.xml:

<!-- 添加HttpCient支持 -->
<dependency>
    <groupId>org.apache.httpcomponents</groupId>
    <artifactId>httpclient</artifactId>
    <version>4.5.2</version>
</dependency>
 
<!-- 添加Jsoup支持 -->
<dependency>
    <groupId>org.jsoup</groupId>
    <artifactId>jsoup</artifactId>
    <version>1.10.2</version>
</dependency>

实例代码：

package com.javaxk.jsoup;

import org.apache.http.HttpEntity;
import org.apache.http.client.methods.CloseableHttpResponse;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClients;
import org.apache.http.util.EntityUtils;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

public class Demo01 {
    
    public static void main(String[] args) throws Exception{
        CloseableHttpClient httpclient = HttpClients.createDefault(); // 创建httpclient实例
        HttpGet httpget = new HttpGet("http://www.cnblogs.com/"); // 创建httpget实例
          
        CloseableHttpResponse response = httpclient.execute(httpget); // 执行get请求
        HttpEntity entity=response.getEntity(); // 获取返回实体
        String webContent=EntityUtils.toString(entity, "utf-8");
        // System.out.println("网页内容："+webContent); // 指定编码打印网页内容
        response.close(); // 关闭流和释放系统资源
         
        Document doc=Jsoup.parse(webContent);    // 解析网页 得到文档对象
        Elements elements=doc.getElementsByTag("title");// 获取tag是title的所有DOM元素
        Element element=elements.get(0);// 获取第1个元素
        String title=element.text(); // 返回元素的文本
        System.out.println("网页标题是："+title);
         
        Element element2=doc.getElementById("site_nav_top");// 获取id=site_nav_top的DOM元素
        String navTop=element2.text();// 返回元素的文本
        System.out.println("口号："+navTop);
    }

}

运行输出：

网页标题是：博客园 - 开发者的网上家园

口号：代码改变世界