requests官方中文文档：https://requests.readthedocs.io/zh_CN/latest/
1.安装
pip install requests
2.引入
import requests
# 发送请求获取响应内容
response = request.get('http://www.baidu.com')
3.请求方式
3.1 GET请求
- HTTP默认的请求方法就是GET
- 没有请求体
- 数据必须在1K之内
- GET请求数据会暴露在浏览器的地址栏中
- GET请求常用的操作：
- 在浏览器的地址栏中直接给出URL，那么就一定是GET请求
- 点击页面上的超链接也一定是GET请求
- 提交表单时，表单默认使用GET请求，但可以设置为POST
3.1.1 基本请求
import requests
# 发送请求获取响应内容
response = request.get('http://www.baidu.com')
print(response.text)
3.1.2 GET请求的主要参数
- url
请求资源的路径
- headers
User-Agent：在请求头内将自己伪装成浏览器，否则百度不会正常返回页面内容
Content-Type：提交数据的类型
- cookies
携带请求的cookies信息
- params
携带请求参数，以字典形式传入
import requests
url = 'http://www.baidu.com'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36 chrome-extension'
}
cookies = {
'user_session': 'wGMHFJKgDcmRIVvcA14_Wrt_3xaUyJNsBnPbYzEL6L0bHcfc'
}
params = {
'kw': '美女'
}
# 发送请求获取响应内容
response = request.get(url=url, headers=headers, cookies=cookies, params=params)
print(response.text)
3.2 POST请求
- 数据不会出现在地址栏中
- 数据的大小没有上限
- 有请求体
- 请求体中如果存在中文，会使用URL编码
备注：requests.post()用法与requests.get()完全一致，特殊的是requests.post()有一个data参数，用来存放请求体数据
3.2.1 使用POST请求模拟登陆
- 分析登陆流程
- 浏览器输入https://github.com/login
- 然后输入错误的账号密码，抓包
- 发现登录行为是post提交到：https://github.com/session
- 而且请求头包含cookie
- 而且请求体包含：
- commit:Sign in
- utf8:✓
- authenticity_token:lbI8IJCwGslZS8qJPnof5e7ZkCoSoMn6jmDTsL1r/m06NLyIbw7vCrpwrFAPzHMep3Tmf/TSJVoXWrvDZaVwxQ==
- login:zj4202
- password:123
- 分析操作流程
- 先GET：https://github.com/login拿到初始cookie与authenticity_token
- 返回POST：https://github.com/session， 带上初始cookie，带上请求体（authenticity_token，用户名，密码等）
- 最后拿到登录cookie
import requests
import re
session=requests.session()
# 第一次请求
r1=session.get('https://github.com/login')
authenticity_token=re.findall(r'name="authenticity_token".*?value="(.*?)"',r1.text)[0] #从页面中拿到CSRF TOKEN
# 第二次请求
data={
'commit':'Sign in',
'utf8':'✓',
'authenticity_token':authenticity_token,
'login':'zj4202@gmail.com',
'password':'123456'
}
r2=session.post('https://github.com/session',
data=data,
)
# 第三次请求
r3=session.get('https://github.com/settings/emails')
print('zj4202@gmail.com' in r3.text) #True
# requests.session()自动帮我们保存cookie信息
4.响应
4.1 响应参数
import requests
# 发送请求获取响应内容
response = request.get('http://www.baidu.com'
- response.url：请求的url
- response.headers：响应头
- response.status_code：响应状态码
- response.text：响应文本
- response.content：响应二进制流，如图片，音频，视频等
- response.json()：json数据
- response.cookies：获取响应中的cookies
- response.cookies.get_dict()：字典格式cookie
- response.cookies.items()：字典格式cookie
- response.encoding：获取编码格式
- response.close()：关闭响应
5.其他
- SSL Cert Verification
# 证书验证(大部分网站都是https)
import requests
respone=requests.get('https://www.12306.cn') #如果是ssl请求,首先检查证书是否合法,不合法则报错,程序终端
# 改进1:去掉报错,但是会报警告
import requests
respone=requests.get('https://www.12306.cn',verify=False) #不验证证书,报警告,返回200
print(respone.status_code)
# 改进2:去掉报错,并且去掉警报信息
import requests
from requests.packages import urllib3
urllib3.disable_warnings() #关闭警告
respone=requests.get('https://www.12306.cn',verify=False)
print(respone.status_code)
# 改进3:加上证书
# 很多网站都是https,但是不用证书也可以访问,大多数情况都是可以携带也可以不携带证书
# 知乎百度等都是可带可不带
# 有硬性要求的,则必须带，比如对于定向的用户,拿到证书后才有权限访问某个特定网站
import requests
respone=requests.get('https://www.12306.cn',
cert=('/path/server.crt',
'/path/key'))
print(respone.status_code)
- 使用代理 使用代理demo
# 官网链接: http://docs.python-requests.org/en/master/user/advanced/#proxies
# 代理设置:先发送请求给代理,然后由代理帮忙发送(封ip是常见的事情)
import requests
proxies={
'http':'http://egon:123@localhost:9743',#带用户名密码的代理,@符号前是用户名与密码
'http':'http://localhost:9743',
'https':'https://localhost:9743',
}
respone=requests.get('https://www.12306.cn', proxies=proxies)
print(respone.status_code)
#支持socks代理,安装:pip install requests[socks]
import requests
proxies = {
'http': 'socks5://user:pass@host:port',
'https': 'socks5://user:pass@host:port'
}
respone=requests.get('https://www.12306.cn', proxies=proxies)
print(respone.status_code)
- 超时设置
# 超时设置
# 两种超时:float or tuple
# timeout=0.1 #代表接收数据的超时时间
# timeout=(0.1,0.2)#0.1代表链接超时 0.2代表接收数据的超时时间
import requests
respone=requests.get('https://www.baidu.com', timeout=0.0001)
- 异常处理
# 异常处理
import requests
from requests.exceptions import * #可以查看requests.exceptions获取异常类型
try:
r=requests.get('http://www.baidu.com',timeout=0.00001)
except ReadTimeout:
print('===:')
# except ConnectionError: #网络不通
# print('-----')
# except Timeout:
# print('aaaaa')
except RequestException:
print('Error')
- 上传文件
import requests
files={'file':open('a.jpg' , 'rb')} respone=requests.post('http://httpbin.org/post',files=files) print(respone.status_code)