网络爬虫
概念
网络爬虫（Web crawler），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。
简单的小程序
-
创建依赖
<dependencies> <!-- HttpClient --> <dependency> <groupId>org.apache.httpcomponents</groupId> <artifactId>httpclient</artifactId> <version>4.5.3</version> </dependency> <!-- 日志 --> <dependency> <groupId>org.slf4j</groupId> <artifactId>slf4j-log4j12</artifactId> <version>1.7.25</version> </dependency> </dependencies> -
加入log4j.properties
log4j.rootLogger=DEBUG,A1 log4j.logger.cn.itcast = DEBUG log4j.appender.A1=org.apache.log4j.ConsoleAppender log4j.appender.A1.layout=org.apache.log4j.PatternLayout log4j.appender.A1.layout.ConversionPattern=%-d{yyyy-MM-dd HH:mm:ss,SSS} [%t] [%c]-[%p] %m%n -
编写代码
public class CrawlerFirst { public static void main(String[] args) throws Exception { // 1.打开游览器,创建HttpClient对象 CloseableHttpClient httpClient = HttpClients.createDefault(); // 2.输入网址,发起get请求创建HttpGet对象 HttpGet httpGet = new HttpGet("http://www.itcast.cn"); // 3.按回车发起请求,返回响应,使用HttpClient对象发起请求 CloseableHttpResponse response = httpClient.execute(httpGet); // 4.解析响应,获取数据 // 判断状态码是否是200 if(response.getStatusLine().getStatusCode() == 200){ HttpEntity httpEntity = response.getEntity(); String content = EntityUtils.toString(httpEntity,"utf8"); System.out.println(content); } } } -
测试结果：可以获取到页面数据。
网络爬虫介绍
在大数据时代，信息的采集是一项重要的工作，而互联网中的数据是海量的，如果单纯靠人力进行信息采集，不仅低效繁琐，搜集的成本也会提高。如何自动高效地获取互联网中我们感兴趣的信息并为我们所用是一个重要的问题，而爬虫技术就是为了解决这些问题而生的。
网络爬虫（Web crawler）也叫做网络机器人，可以代替人们自动地在互联网中进行数据信息的采集与整理。它是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本，可以自动采集所有其能够访问到的页面内容，以获取相关数据。
从功能上来讲，爬虫一般分为数据采集，处理，储存三个部分。爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。
为什么学网络爬虫
- 可以实现搜索引擎
我们学会了爬虫编写之后，就可以利用爬虫自动地采集互联网中的信息，采集回来后进行相应的存储或处理，在需要检索某些信息的时候，只需在采集回来的信息中进行检索，即实现了私人的搜索引擎。
2.大数据时代，可以让我们获取更多的数据源。
在进行大数据分析或者进行数据挖掘的时候，需要有数据源进行分析。我们可以从某些提供数据统计的网站获得，也可以从某些文献或内部资料中获得，但是这些获得数据的方式，有时很难满足我们对数据的需求，而手动从互联网中去寻找这些数据，则耗费的精力过大。此时就可以利用爬虫技术，自动地从互联网中获取我们感兴趣的数据内容，并将这些数据内容爬取回来，作为我们的数据源，再进行更深层次的数据分析，并获得更多有价值的信息。
- 可以更好地进行搜索引擎优化（SEO）。
对于很多SEO从业者来说，为了更好的完成工作，那么就必须要对搜索引擎的工作原理非常清楚，同时也需要掌握搜索引擎爬虫的工作原理。
而学习爬虫，可以更深层次地理解搜索引擎爬虫的工作原理，这样在进行搜索引擎优化时，才能知己知彼，百战不殆。
- 有利于就业。
从就业来说，爬虫工程师方向是不错的选择之一，因为目前爬虫工程师的需求越来越大，而能够胜任这方面岗位的人员较少，所以属于一个比较紧缺的职业方向，并且随着大数据时代和人工智能的来临，爬虫技术的应用将越来越广泛，在未来会拥有很好的发展空间。
HttpClient
网络爬虫就是用程序帮助我们访问网络上的资源，我们一直以来都是使用HTTP协议访问互联网的网页，网络爬虫需要编写程序，在这里使用同样的HTTP协议访问网页。
这里我们使用Java的HTTP协议客户端 HttpClient这个技术，来实现抓取网页数据。
GET请求
访问传智官网，请求url地址：http://www.itcast.cn/
public class HttpGetTest {
public static void main(String[] args) {
// 创建HttpClient对象
CloseableHttpClient httpClient = HttpClients.createDefault();
// 创建HttpGet对象,设置url访问地址
HttpGet httpGet = new HttpGet("http://www.itcast.cn");
CloseableHttpResponse response = null;
try {
// 使用HttpClient发起请求，获取response
response = httpClient.execute(httpGet);
// 解析响应
if(response.getStatusLine().getStatusCode() == 200){
String content = EntityUtils.toString(response.getEntity(), "utf8");
System.out.println(content.length());
}
} catch (IOException e) {
e.printStackTrace();
} finally {
// 关闭response
try {
if (response != null) {
response.close();
}
} catch (IOException e) {
e.printStackTrace();
}
try {
httpClient.close();
} catch (IOException e) {
e.printStackTrace();
}
}
}
}
带参数的GET请求
在传智中搜索学习视频，地址为：http://yun.itheima.com/search?keys=Java
public class HttpGetParamTest {
public static void main(String[] args) throws URISyntaxException {
// 创建HttpClient对象
CloseableHttpClient httpClient = HttpClients.createDefault();
// 设置请求地址是：http://yun.itheima.com/search?keys=Java
// 创建URIBuilder
URIBuilder uriBuilder = new URIBuilder("http://yun.itheima.com/search");
// 设置参数
uriBuilder.addParameter("keys","Java");
// 创建HttpGet对象，设置url访问地址
HttpGet httpGet = new HttpGet(uriBuilder.build());
System.out.println("发起请求的信息" + httpGet);
CloseableHttpResponse response = null;
try {
// 使用HttpClient发起请求,获取response
response = httpClient.execute(httpGet);
// 解析响应
if(response.getStatusLine().getStatusCode() == 200){
String content = EntityUtils.toString(response.getEntity(), "utf8");
System.out.println(content.length());
}
}catch (Exception e){
e.printStackTrace();
}finally {
//关闭response
try {
if (response != null) {
response.close();
}
} catch (IOException e) {
e.printStackTrace();
}
try {
httpClient.close();
} catch (IOException e) {
e.printStackTrace();
}
}
}
}
POST请求
使用POST访问传智官网，请求url地址：http://www.itcast.cn/
public class HttpPostTest {
public static void main(String[] args) {
//创建HttpClient对象
CloseableHttpClient httpClient = HttpClients.createDefault();
// 创建HttpPost对象，设置url访问地址
HttpPost httpPost = new HttpPost("http://www.itcast.cn");
CloseableHttpResponse response = null;
try{
// 使用HttpClient发起请求,获取response
response = httpClient.execute(httpPost);
// 解析响应
if(response.getStatusLine().getStatusCode() == 200){
String content = EntityUtils.toString(response.getEntity(), "utf8");
System.out.println(content.length());
}
}catch (Exception e){
e.printStackTrace();
}finally {
//关闭response
try {
response.close();
} catch (IOException e) {
e.printStackTrace();
}
try {
httpClient.close();
} catch (IOException e) {
e.printStackTrace();
}
}
}
}
带参数的POST请求
在传智中搜索学习视频，使用POST请求，url地址为：http://yun.itheima.com/search
url地址没有参数，参数keys=java放到表单中进行提交
public class HttpPostParamTest {
public static void main(String[] args) throws UnsupportedEncodingException {
// 创建HttpClient对象
CloseableHttpClient httpClient = HttpClients.createDefault();
HttpPost httpPost = new HttpPost("http://yun.itheima.com/search");
// 声明List集合,封装表单中的参数
ArrayList<NameValuePair> params = new ArrayList<NameValuePair>();
// 设置请求地址:http://yun.itheima.com/search?keys=Java
params.add(new BasicNameValuePair("keys","Java"));
// 创建表单的Entity对象,第一个参数就是封装好的表单数据,第二个参数就是编码
UrlEncodedFormEntity formEntity = new UrlEncodedFormEntity(params, "utf8");
// 设置表单的Entity对象到Post请求中
httpPost.setEntity(formEntity);
CloseableHttpResponse response = null;
try{
response = httpClient.execute(httpPost);
// 解析响应
if(response.getStatusLine().getStatusCode() == 200){
String content = EntityUtils.toString(response.getEntity(), "utf8");
System.out.println(content.length());
}
}catch (Exception e){
e.printStackTrace();
}finally {
//关闭response
try {
response.close();
} catch (IOException e) {
e.printStackTrace();
}
try {
httpClient.close();
} catch (IOException e) {
e.printStackTrace();
}
}
}
}
连接池
如果每次请求都要创建HttpClient，会有频繁创建和销毁的问题，可以使用连接池来解决这个问题。
public class HttpClientPoolTest {
public static void main(String[] args) {
// 创建连接池管理器
PoolingHttpClientConnectionManager cm = new PoolingHttpClientConnectionManager();
// 设置最大连接数
cm.setMaxTotal(100);
// 设置每个主机的最大连接数
cm.setDefaultMaxPerRoute(10);
// 使用连接池管理器发起请求
doGet(cm);
doGet(cm);
}
private static void doGet(PoolingHttpClientConnectionManager cm){
// 不是每次创建新的HttpClient，而是从连接池中获取HttpClient对象
CloseableHttpClient httpClient = HttpClients.custom().setConnectionManager(cm).build();
HttpGet httpGet = new HttpGet("http://www.itcast.cn");
CloseableHttpResponse response = null;
try{
response = httpClient.execute(httpGet);
if (response.getStatusLine().getStatusCode() == 200) {
String content = EntityUtils.toString(response.getEntity(), "utf8");
System.out.println(content.length());
}
}catch (Exception e){
e.printStackTrace();
}finally {
if (response != null) {
try {
response.close();
} catch (IOException e) {
e.printStackTrace();
}
// 不能关闭HttpClient，由连接池管理HttpClient
// httpClient.close();
}
}
}
}
请求参数
有时候因为网络，或者目标服务器的原因，请求需要更长的时间才能完成，我们需要自定义相关时间。
public class HttpConfigTest {
public static void main(String[] args) {
// 创建HttpClient对象
CloseableHttpClient httpClient = HttpClients.createDefault();
// 创建HttpGet对象，设置url访问地址
HttpGet httpGet = new HttpGet("http://www.itcast.cn");
// 配置请求信息
RequestConfig config = RequestConfig.custom().setConnectTimeout(1000).setConnectionRequestTimeout(500)
.setSocketTimeout(10 * 1000).build();
// 给请求设置请求信息
httpGet.setConfig(config);
CloseableHttpResponse response = null;
try {
//使用HttpClient发起请求，获取response
response = httpClient.execute(httpGet);
//解析响应
if (response.getStatusLine().getStatusCode() == 200) {
String content = EntityUtils.toString(response.getEntity(), "utf8");
System.out.println(content.length());
}
} catch (IOException e) {
e.printStackTrace();
}finally {
//关闭response
try {
response.close();
} catch (IOException e) {
e.printStackTrace();
}
try {
httpClient.close();
} catch (IOException e) {
e.printStackTrace();
}
}
}
}
Jsoup
我们抓取到页面之后，还需要对页面进行解析。可以使用字符串处理工具解析页面，也可以使用正则表达式，但是这些方法都会带来很大的开发成本，所以我们需要使用一款专门解析html页面的技术。
jsoup介绍
jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。
jsoup的主要功能如下：
-
从一个URL，文件或字符串中解析HTML；
-
使用DOM或CSS选择器来查找、取出数据；
-
可操作HTML元素、属性、文本;
测试
-
添加依赖
<!--Jsoup--> <dependency> <groupId>org.jsoup</groupId> <artifactId>jsoup</artifactId> <version>1.10.3</version> </dependency> <!--测试--> <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>4.12</version> </dependency> <!--工具--> <dependency> <groupId>org.apache.commons</groupId> <artifactId>commons-lang3</artifactId> <version>3.7</version> </dependency> <dependency> <groupId>commons-io</groupId> <artifactId>commons-io</artifactId> <version>2.6</version> </dependency> -
解析url
Jsoup可以直接输入url，它会发起请求并获取数据，封装为Document对象
@Test public void testJsoupUrl() throws Exception{ // 解析url地址 Document document = Jsoup.parse(new URL("http://www.itcast.cn/"), 1000); // 获取title的内容 Element title = document.getElementsByTag("title").first(); System.out.println(title.text()); }PS：虽然使用Jsoup可以替代HttpClient直接发起请求解析数据，但是往往不会这样用，因为实际的开发过程中，需要使用到多线程，连接池，代理等等方式，而jsoup对这些的支持并不是很好，所以我们一般把jsoup仅仅作为Html解析工具使用
-
解析字符串
先准备以下html文件
<html> <head> <title>传智播客官网-一样的教育,不一样的品质</title> </head> <body> <div class="city"> <h3 id="city_bj">北京中心</h3> <fb:img src="/2018czgw/images/slogan.jpg" class="slogan"/> <div class="city_in"> <div class="city_con" style="display: none;"> <ul> <li id="test" class="class_a class_b"> <a href="http://www.itcast.cn" target="_blank"> <span class="s_name">北京</span> </a> </li> <li> <a href="http://sh.itcast.cn" target="_blank"> <span class="s_name">上海</span> </a> </li> <li> <a href="http://gz.itcast.cn" target="_blank"> <span abc="123" class="s_name">广州</span> </a> </li> <ul> <li>天津</li> </ul> </ul> </div> </div> </div> </body> </html>Jsoup可以直接输入字符串，并封装为Document对象
@Test public void testString() throws Exception { // 使用工具类读取文件，获取字符串 String html = FileUtils.readFileToString(new File("C:\Users\86152\Desktop\新建文本文档.html"), "UTF-8"); // 解析字符串 Document document = Jsoup.parse(html); // 获取title的内容 Element title = document.getElementsByTag("title").first(); System.out.println(title.text()); } -
解析文件
Jsoup可以直接解析文件，并封装为Document对象
@Test public void testJsoupHtml() throws Exception { // 解析文件 Document document = Jsoup.parse(new File("C:\Users\86152\Desktop\新建文本文档.html"),"UTF-8"); // 获取title的内容 Element title = document.getElementsByTag("title").first(); System.out.println(title.text()); } -
使用dom方式遍历文档
元素获取
-
根据id查询元素getElementById
-
根据标签获取元素getElementsByTag
-
根据class获取元素getElementsByClass
-
根据属性获取元素getElementsByAttribute
元素中获取数据
-
从元素中获取id
-
从元素中获取className
-
从元素中获取属性的值attr
-
从元素中获取所有属性attributes
-
从元素中获取文本内容text
@Test public void testDOM() throws Exception { // 解析文件 Document document = Jsoup.parse(new File("C:\Users\86152\Desktop\新建文本文档.html"),"UTF-8"); // 1.根据id查询元素getElementById Element city_bj = document.getElementById("city_bj"); System.out.println(city_bj.text()); // 2.根据标签获取元素getElementsByTag Element title = document.getElementsByTag("title").first(); System.out.println(title.text()); // 3.根据class获取元素getElementsByClass Element s_name = document.getElementsByClass("s_name").last(); System.out.println(s_name.text()); Elements s_name1 = document.getElementsByClass("s_name"); System.out.println("=============================================="); for (Element element : s_name1){ System.out.println(element.text()); } System.out.println("=============================================="); // 4.根据属性获取元素getElementsByAttribute Element abc = document.getElementsByAttribute("abc").first(); System.out.println(abc.text()); Element first = document.getElementsByAttributeValue("class", "s_name").first(); System.out.println(first.text()); System.out.println("+++++++++++++++++++++++++++++++++++++++++++++"); Element element = document.getElementById("test"); // 1.从元素中获取id String id = element.id(); System.out.println("id:" + id); // 2.从元素中获取className String className = element.className(); System.out.println("className:" + className); // 3. 从元素中获取属性的值attr String attr = element.attr("id"); System.out.println("attr:" + attr); // 4. 从元素中获取所有属性attributes String string = element.attributes().toString(); System.out.println("string:" + string); // 5. 从元素中获取文本内容text String text = element.text(); System.out.println("text:" + text); } -
-
使用选择器语法查找元素
jsoup elements对象支持类似于CSS (或jquery)的选择器语法，来实现非常强大和灵活的查找功能。这个select 方法在Document, Element,或Elements对象中都可以使用。且是上下文相关的，因此可实现指定元素的过滤，或者链式选择访问。
Select方法将返回一个Elements集合，并提供一组方法来抽取和处理结果。
-
Selector选择器概述
tagname: 通过标签查找元素，比如：span #id: 通过ID查找元素，比如：# city_bj .class: 通过class名称查找元素，比如：.class_a [attribute]: 利用属性查找元素，比如：[abc] [attr=value]: 利用属性值来查找元素，比如：[class=s_name]@Test public void testSelector() throws Exception { //解析html文件，获取Document对象 Document doc = Jsoup.parse(new File("C:\Users\tree\Desktop\test.html"), "utf8"); //tagname: 通过标签查找元素，比如：span Elements elements = doc.select("span"); //for (Element element : elements) { // System.out.println(element.text()); //} //#id: 通过ID查找元素，比如：#city_bj //Element element = doc.select("#city_bj").first(); //.class: 通过class名称查找元素，比如：.class_a //Element element = doc.select(".class_a").first(); //[attribute]: 利用属性查找元素，比如：[abc] Element element = doc.select("[abc]").first(); //[attr=value]: 利用属性值来查找元素，比如：[class=s_name] Elements elements1 = doc.select("[class=s_name]"); for (Element element1 : elements1) { System.out.println(element1.text()); } //打印结果 System.out.println("获取到的结果是：" + element.text()); } -
Selector选择器组合使用
el#id: 元素+ID，比如： h3#city_bj el.class: 元素+class，比如： li.class_a el[attr]: 元素+属性名，比如： span[abc] 任意组合: 比如：span[abc].s_name ancestor child: 查找某个元素下子元素，比如：.city_con li 查找"city_con"下的所有li parent > child: 查找某个父元素下的直接子元素，比如： .city_con > ul > li 查找city_con第一级（直接子元素）的ul，再找所有ul下的第一级li parent > *: 查找某个父元素下所有直接子元素@Test public void testSelector2()throws Exception{ //解析html文件，获取Document对象 Document doc = Jsoup.parse(new File("C:\Users\tree\Desktop\test.html"), "utf8"); //el#id: 元素+ID，比如： h3#city_bj Element element = doc.select("h3#city_bj").first(); //el.class: 元素+class，比如： li.class_a element = doc.select("li.class_a").first(); //el[attr]: 元素+属性名，比如： span[abc] element = doc.select("span[abc]").first(); //任意组合: 比如：span[abc].s_name element = doc.select("span[abc].s_name").first(); //ancestor child: 查找某个元素下子元素，比如：.city_con li 查找"city_con"下的所有li Elements elements = doc.select(".city_con li"); //parent > child: 查找某个父元素下的直接子元素，比如： //.city_con > ul > li 查找city_con第一级（直接子元素）的ul，再找所有ul下的第一级li elements = doc.select(".city_con > ul > li"); //parent > *: 查找某个父元素下所有直接子元素 elements = doc.select(".city_con > ul > *"); System.out.println("获取到的内容是："+element.text()); for (Element element1 : elements) { System.out.println("遍历的结果："+element1.text()); } }