01-爬虫介绍

01-爬虫介绍

1. 什么是爬虫

网络爬虫是一种按照一定的规则，自动地抓网络信息的程序或者脚本。

2. 爬虫分类

1- 通用爬虫：

　　通用爬虫是搜索引擎（Baidu、Google、Yahoo等）“抓取系统”的重要组成部分。主要目的是将互联网上的网页下载到本地，形成一个互联网内容的镜像备份。简单来讲就是尽可能的；把互联网上的所有的网页下载下来，放到本地服务器里形成备分，在对这些网页做相关处理(提取关键字、去掉广告)，最后提供一个用户检索接口。

　　搜索引擎如何抓取互联网上的网站数据？

　　　　门户网站主动向搜索引擎公司提供其网站的url

　　　　搜索引擎公司与DNS服务商合作，获取网站的url

　　　　门户网站主动挂靠在一些知名网站的友情链接中

 

2- 聚焦爬虫：

　　聚焦爬虫是根据指定的需求抓取网络上指定的数据。例如：获取豆瓣上电影的名称和影评，而不是获取整张页面中所有的数据值。

 

3- 增量爬虫：

　　通过检测网站数据更新的情况，将最新更新出来的数据进行爬取

3. 爬虫的基本流程

1- 发起请求

　　使用http库向目标站点发起请求，即发送一个Request

　　Request包含：请求头、请求体等

2- 获取响应内容

　　如果服务器能正常响应，则会得到一个Response

　　Response包含：html，json，图片，视频等

3- 解析内容

　　解析html数据：正则表达式，第三方解析库如Beautifulsoup，pyquery等

　　解析json数据：json模块

　　解析二进制数据: 以b的方式写入文件

4- 保存数据

　　数据库

　　文件

4. HTTP协议介绍

HTTP协议（HyperText Transfer Protocol，超文本传输协议）是因特网上应用最为广泛的一种网络传输协议，所有的WWW文件都必须遵守这个标准。

HTTP是一个基于TCP/IP通信协议来传递数据（HTML 文件, 图片文件, 查询结果等）。

TCP/IP协议采取分层管理，下图为HTTP协议的通信传输流

HTTP协议通过请求和响应的交换达成通信

HTTP请求格式

HTTP响应格式