一、什么是Requests
Requests 是⽤Python语⾔编写，基于urllib，采⽤Apache2 Licensed开源协议的 HTTP 库。它⽐ urllib 更加⽅便，可以节约我们⼤量的⼯作，完全满⾜HTTP测试需求。
⼀句话——Python实现的简单易⽤的HTTP库
二、安装Requests库
进入命令行win+R执行
命令：pip install requests
项目导入：import requests
三、各种请求方式
requests.request() ：构造一个请求，支撑以下各方法的基础方法
requests.get() ：获取HTML网页的主要方法，对应于HTTP的GET
requests.head() ：获取HTML网页头信息的方法，对应于HTTP的HEAD
requests.post() ：向HTML网页提交POST请求的方法，对应于HTTP的POST
requests.put() ：向HTML网页提交PUT请求的方法，对应于HTTP的PUT
requests.patch() ：向HTML网页提交局部修改请求，对应于HTTP的PATCH
requests.delete() ：向HTML页面提交删除请求，对应于
1、get 和 post比较常见（最常用的还是get）
GET请求将提交的数据放置在HTTP请求协议头中
POST提交的数据则放在实体数据中
2、put和patch的区别
假设URL位置有一组数据UserInfo，包括UserID、UserName等20个字段
需求：用户修改了UserName，其他不变
- 采用PATCH，仅向URL提交UserName的局部更新请求
• 采用PUT，必须将所有20个字段一并提交到URL，未提交字段被删除
PATCH的最主要好处：节省网络带宽
3、方法的可选参数
params : 字典或字节序列，作为参数增加到url中
data : 字典、字节序列或文件对象，作为Request的内容
json : JSON格式的数据，作为Request的内容 headers : 字典，HTTP定制头
cookies : 字典或CookieJar，Request中的cookie auth : 元组，支持HTTP认证功能
files : 字典类型，传输文件
timeout : 设定超时时间，秒为单位
proxies : 字典类型，设定访问代理服务器，可以增加登录认证
allow_redirects : True/False，默认为True，重定向开关
stream : True/False，默认为True，获取内容立即下载开关
verify : True/False，默认为True，认证SSL证书开关
cert : 本地SSL证书路径
（1）、基本的GET请求
import requests response = requests.get('http://httpbin.org/get') print(response.text)
（2）、带参数的GET请求
import requests response = requests.get("http://httpbin.org/get?name=germey&age=22") print(response.text)
或者使用params的方法：
import requests data = { 'name': 'germey', 'age': 22 } response = requests.get("http://httpbin.org/get", params=data) print(response.text)
（3）、解析json
将返回值已json的形式展示：
import requests import json response = requests.get("http://httpbin.org/get") print(type(response.text)) print(response.json()) print(json.loads(response.text)) print(type(response.json()))
返回值：注意打印的类型
<class 'str'> {'args': {}, 'headers': {'Accept': '*/*', 'Accept-Encoding': 'gzip, deflate', 'Connection': 'close', 'Host': 'httpbin.org', 'User-Agent': 'python-requests/2.18.4'}, 'origin': '183.64.61.29', 'url': 'http://httpbin.org/get'} {'args': {}, 'headers': {'Accept': '*/*', 'Accept-Encoding': 'gzip, deflate', 'Connection': 'close', 'Host': 'httpbin.org', 'User-Agent': 'python-requests/2.18.4'}, 'origin': '183.64.61.29', 'url': 'http://httpbin.org/get'} <class 'dict'>
（4）、获取二进制数据
返回值.content就ok了
import requests response = requests.get("https://github.com/favicon.ico") print(type(response.text), type(response.content)) print(response.text) print(response.content)
（5）、添加headers
有些网站访问时必须带有浏览器等信息，如果不传入headers就会报错，如下
import requests response = requests.get("https://www.zhihu.com/explore") print(response.text)
没有带headers时执行之后会返回500
<html><body><h1>500 Server Error</h1> An internal server error occured. </body></html>
当传入headers时：
import requests headers = { 'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36' } response = requests.get("https://www.zhihu.com/explore", headers=headers) print(response.text)
成功返回网页源代码不做展示
（6）、基本POST请求
import requests data = {'name': 'germey', 'age': '22'} response = requests.post("http://httpbin.org/post", data=data) print(response.text)
也可以以json格式传入
import requests data = {'name': 'germey', 'age': '22'} response = requests.post("http://httpbin.org/post", json=data) print(response.text)
三、响应
response属性
r.status_code http请求的返回状态，200表示连接成功，404表示连接失败
r.text http响应内容的字符串形式，url对应的页面内容
r.encoding 从HTTP header中猜测的响应内容编码方式
r.apparent_encoding 从内容分析出的响应内容的编码方式（备选编码方式）
r.content HTTP响应内容的二进制形式
r.headers http响应内容的头部内容
import requests response = requests.get('http://www.jianshu.com') print(type(response.status_code), response.status_code) #返回状态码 print(type(response.headers), response.headers) #放回的头信息 print(type(response.cookies), response.cookies) #返回的cookie print(type(response.url), response.url) #返回的url print(type(response.history), response.history) #返回的历史
return：
<class 'int'> 200 <class 'requests.structures.CaseInsensitiveDict'> {'Date': 'Thu, 01 Feb 2018 20:47:08 GMT', 'Server': 'Tengine', 'Content-Type': 'text/html; charset=utf-8', 'Transfer-Encoding': 'chunked', 'X-Frame-Options': 'DENY', 'X-XSS-Protection': '1; mode=block', 'X-Content-Type-Options': 'nosniff', 'ETag': 'W/"9f70e869e7cce214b6e9d90f4ceaa53d"', 'Cache-Control': 'max-age=0, private, must-revalidate', 'Set-Cookie': 'locale=zh-CN; path=/', 'X-Request-Id': '366f4cba-8414-4841-bfe2-792aeb8cf302', 'X-Runtime': '0.008350', 'Content-Encoding': 'gzip', 'X-Via': '1.1 gjf22:8 (Cdn Cache Server V2.0), 1.1 PSzqstdx2ps251:10 (Cdn Cache Server V2.0)', 'Connection': 'keep-alive'} <class 'requests.cookies.RequestsCookieJar'> <RequestsCookieJar[<Cookie locale=zh-CN for www.jianshu.com/>]> <class 'str'> https://www.jianshu.com/ <class 'list'> [<Response [301]>]
四、高级操作
（1）、文件上传
使用 Requests 模块，上传文件也是如此简单的，文件的类型会自动进行处理：
实例：
import requests files = {'file': open('cookie.txt', 'rb')} response = requests.post("http://httpbin.org/post", files=files) print(response.text)
（2）、获取cookie
当需要cookie时，直接调用response.cookie:(response为请求后的返回值)
import requests response = requests.get("https://www.baidu.com") print(response.cookies) for key, value in response.cookies.items(): print(key + '=' + value)
（3）、会话维持、模拟登陆
如果某个响应中包含一些Cookie，你可以快速访问它们：
import requests r = requests.get('http://www.google.com.hk/') print(r.cookies['NID']) print(tuple(r.cookies))
要想发送你的cookies到服务器，可以使用 cookies 参数：
import requests url = 'http://httpbin.org/cookies' cookies = {'testCookies_1': 'Hello_Python3', 'testCookies_2': 'Hello_Requests'} # 在Cookie Version 0中规定空格、方括号、圆括号、等于号、逗号、双引号、斜杠、问号、@，冒号，分号等特殊符号都不能作为Cookie的内容。 r = requests.get(url, cookies=cookies) print(r.json())
（4）、证书验证
因为12306有一个错误证书，我们那它的网站做测试会出现下面的情况，证书不是官方证书，浏览器会识别出一个错误
import requests response = requests.get('https://www.12306.cn') print(response.status_code)
怎么正常进入这样的网站了，代码如下：
import requests from requests.packages import urllib3 urllib3.disable_warnings() response = requests.get('https://www.12306.cn', verify=False) print(response.status_code)
urllib3.disable_warnings()这条命令主要用于消除警告信息
将verify设置位False即可，返回的状态码为200
（5）、代理设置
在进行爬虫爬取时，有时候爬虫会被服务器给屏蔽掉，这时采用的方法主要有降低访问时间，通过代理ip访问，如下：
import requests proxies = { "http": "http://127.0.0.1:9743", "https": "https://127.0.0.1:9743", } response = requests.get("https://www.taobao.com", proxies=proxies) print(response.status_code)
ip可以从网上抓取，或者某宝购买
如果代理需要设置账户名和密码,只需要将字典更改为如下： proxies = { "http":"http://user:password@127.0.0.1:9999" } 如果你的代理是通过sokces这种方式则需要pip install "requests[socks]" proxies= { "http":"socks5://127.0.0.1:9999", "https":"sockes5://127.0.0.1:8888" }
（6）、超时设置
访问有些网站时可能会超时，这时设置好timeout就可以解决这个问题
import requests from requests.exceptions import ReadTimeout try: response = requests.get("http://httpbin.org/get", timeout = 0.5) print(response.status_code) except ReadTimeout: print('Timeout')
（7）、认证设置
如果碰到需要认证的网站可以通过requests.auth模块实现
import requests from requests.auth import HTTPBasicAuth response = requests.get("http://120.27.34.24:9001/",auth=HTTPBasicAuth("user","123")) print(response.status_code)
当然这里还有一种方式
import requests response = requests.get("http://120.27.34.24:9001/",auth=("user","123")) print(response.status_code)
（8）、异常处理
遇到网络问题（如：DNS查询失败、拒绝连接等）时，Requests会抛出一个ConnectionError 异常。
遇到罕见的无效HTTP响应时，Requests则会抛出一个 HTTPError 异常。
若请求超时，则抛出一个 Timeout 异常。
若请求超过了设定的最大重定向次数，则会抛出一个 TooManyRedirects 异常。
所有Requests显式抛出的异常都继承自 requests.exceptions.RequestException 。
requests.ConnectionError 网络连接错误异常，如DNS查询失败、拒绝连接等
requests.HTTPError HTTP错误异常 requests.URLRequired URL缺失异常
requests.TooManyRedirects 超过最大重定向次数，产生重定向异常
requests.ConnectTimeout 连接远程服务器超时异常
requests.Timeout 请求URL超时，产生超时异常
response.raise_for_status() 调用该方法检测如果不是200，产生异常 requests.HTTPError
import requests def getHTMLText(url): try: r = requests.get(url) r.raise_for_status()#如果状态不是200，则会引发HTTPError异常 r.encoding = r.apparent_encoding return r.text except: return "产生异常" if __name__=="__main__": url = "http://www.baidu.com" print(getHTMLText(url))