一：安装第三方库requests
首先打开命令提示符（以管理员身份运行）
输入pip install requests，然后回车
首次安装的时候出现了问题
百度之后是说版本太低
按照上面的提示更新pip还是显示WARNING，最后卸载python,重新安装python,再更新pip就可以了，可能是电脑里有好几个版本的python所致
二：Requests库的7个主要方法
|
方法 |
说明 |
|
requests.request() |
构造一个请求，支撑以下各方法的基础方法 |
|
requests.get() |
获取HTML网页的主要方法，对应于HTTP的GET |
|
requests.head() |
获取HTML网页头信息的方法，对应于HTTP的HEAD |
|
requests.post() |
向HTML网页提交POST请求的方法，对应于HTTP的POST |
|
requests.put() |
向HTML网页提交PUT请求的方法，对应于HTTP的PUT |
|
requests.patch() |
向HTML网页提交局部修改请求，对应于HTTP的PATCH |
|
requests.delete() |
向HTML网页提交删除请求，对应于HTTP的DELETE |
注：其余6个方法都是通过调用request()方法来实现的
1：get()方法
r=requests.get(url) 构造一个向服务器请求资源的Request对象
返回内容用r表示，是一个Response对象，包含从服务器返回的所有相关资源
完整使用方法requests.get(url,params=None,**kwargs)
url: 要获取的页面的连接
params: url中的额外参数，字典或字节流格式。可选
**kwargs: 12个控制访问的的参数。可选
例子
Response对象的属性
|
属性 |
说明 |
|
r.status_code |
HTTP请求的返回状态，200表示连接成功，404(不是202)表示连接失败 |
|
r.text |
HTTP相应内容的字符串形式，即url对应的页面内容 |
|
r.encoding |
从HTTP header中猜测的相应内容编码方式 |
|
r.apparent_encoding |
从内容中分析出的相应内容编码方式（备选编码方式） |
|
r.content |
HTTP响应内容的二进制形式。eg:从一个url的链接上获得一个图片，图片里面的资源是以二进制形式存储的，可以通过r.content来还原这个图片 |
使用get()方法访问网上资源有一个基本的流程：
例子：
r.encoding:是从HTTP header中的charset字段中获得的，如果HTTP header中有一个这样的字段，说明访问的服务器对其资源的编码是有要求的，而这样的编码会获得回来，存在r.encoding中，但并不是所有的服务器对它的资源编码都是有要求的，如果header中不存在charset字段，则认为编码为ISO-8859-1(默认)，但这个编码并不能解析中文，所以requests库提供了一个备选编码r.apparent_encoding，这个编码根据HTTP内容部分分析内容中出现文本可能的编码方式，原则来说这个编码比encoding更加准确。因此当encoding不能正确解析编码，便使用备选编码来进行替换解析（将apparent赋值给encoding）。
2：爬取网页的通用代码框架
直接使用get()进行爬取，不一定会成功，毕竟网络连接有风险，而异常处理就显得很重要了。
requests库的异常处理
|
异常 |
说明 |
|
requests.ConnectionError |
网络连接错误异常。如DNS查询失败、服务器防火墙拒绝连接 |
|
requests.HTTPError |
HTTP协议层面错误异常 |
|
requests.URLRequird |
URL缺失造成的异常 |
|
requests.TooManyRedirects |
超过最大重定向次数，产生重定向异常。经常是对复杂的链接访问时产生的错误 |
|
requests.ConnectTimeout |
访问远程服务器的时候超时异常 |
|
requests.Timeout |
请求URL超时，产生的超时异常 |
Timeout指整个过程，ConnectTimeout仅指链接服务器这个过程
r.raise_for_status(),专门与异常打交道，可以判断返回的Response类型r状态是不是200。如果是200，它将表示返回的内容是正确的；如果不是200，就会产生一个requests.HTTPError的异常。
__name__ 是当前模块名，当模块被直接运行时模块名为 __main__ 。这句话的意思就是，当模块被直接运行时，以下代码块将被运行，当模块是被导入时，代码块不被运行