爬虫学习总结--python爬虫

下面是大纲，具体内容放在Github

第一部分：

requests的使用：

使用requests发起请求，获取网页数据

get请求

UA伪装

post请求

JSON数据的处理

使用正则表达式解析数据

使用bs4解析数据

第二部分：

使用Xpath解析数据

selenium的使用

第三部分：

验证码识别

代理的使用

异步爬虫

scrapy的使用

爬虫实例（持续更新）