requests
发送http请求类型：get、post、put、delete、head
get 参数：params
值：字典格式
嵌套列表
array数组
import requests
from urllib.parse import unquote
url="http://www.example.com"
p1={"a":"1"}
r1=requests.get(url,params=p1) #字典格式
print(r1.url)
p2=[["a","1"],["a","2"]] #嵌套列表
r2=requests.get(url,params=p2)
print(r2.url)
p3={"a[]":"1,2"} #字典，传array数组
r3=requests.get(url,params=p3)
print(unquote(r3.url))
运行结果
post
1.参数：data，
值：字典格式 ；
元组列表（（"a","b"），（"a","b"）,("c","e")）；
字符串json.dumps(字典格式）；"xml格式"（注意：字符串中内容跨行，使用）
2.参数：json ，值：字典格式，自动转码（字符串）
3.参数：files，值：{“键名”：（“文件名”，open（“文件名”，“rb”），“image/jpeg”）}
某一位置上传多图，
f={
(“键名”，(“文件名1”，open(“文件名1”，“rb”），“image/jpeg”）)，
（“键名”，(“文件名2”，open(“文件名2”，“rb”），“image/jpeg”）),
}
s.post(url,files=f)
如何判断post请求中使用什么参数？可以通过fiddler抓包请求，查看Inspectors——JSON中显示数据，则使用json参数；查看Inspectors——WebForms中显示数据，则使用data参数。
响应结果
r.status_code; r.text; r.text.encode("utf-8"); r.text.encode("utf-8").decode('unicode_escape') #unicode解码; r.content; r.encoding; r.headers; r.url; r.json();
r.raw;
SSL证书验证
requests可以为HTTPS请求验证SSL证书，verify=True默认是开启的。
不启用fiddler不报SSL问题；启用fiddler抓包报SSLError；
解决办法：1.verify=False，但出现InsecureRequestWarning。
忽略Warning三种方法：
import requests
import warnings
#warnings.filterwarnings("ignore") #方式1
#requests.packages.urllib3.disable_warnings()#方式2
import urllib3
urllib3.disable_warnings(urllib3.exceptions.InsecureRequestWarning)#方式3
r=requests.get("https://www.baidu.com",verify=False)
print(r.status_code)
cookie绕过验证码登录
1.fiddler抓登录后cookie
2.主要请求如下：
s=requests.session()
#添加cookie
c=requests.cookies.RequestsCookieJar()
c.set("名1","值1")
c.set("名1","值1")
s.cookies.update(c)
print(s.cookies)
会话对象（保持会话）
s=requests.session()
s.get(...)
s.post(...)
requests-html爬虫框架
hs=HTMLSession()
hr=hs.get(网址)
hlinkes=hr.html.links #获取页面上的所有链接
alinkes=hlinkes.absolute_links #获取绝对路径链接
提取参数（文本内容）：css定位支持，hr.html.find("css语法"，first=True).text
xpath ,hr.html.xpath("xpath语法",first=True).text
当然这里也可以通过lxml.etree 的 xpath,python正则来提取，直接使用requests或requests.session()请求
requests-html支持JavaScript渲染；加上，hr.html.render(),类似于手工在浏览器上输入url。
不加，只有一条请求，加上可以有n条请求。
参数关联，提取参数
cookies参数关联，使用requests.session()请求就自动关联了
提取参数：针对字符串取值，python正则表达式re.findall("开头(.+?)结尾",字符串格式)；
lxml.etree 通过返回的html，解析出想要的text;a=etree.HTML(r.content); b=a.xpath("//*[@id="block"]")[0].get("value")
针对dict类型取值，jsonpath.jsonpath(字典格式，jsonpath表达式)
urlencode编码 如，%E7%94%
requests库发送请求时，会自动对url进行urlencode编码并发送，可通过r.url查看发送的url
如何自己对url进行urlencode编码？urlencode方法传字典参数，quote方法传字符串参数
如何对返回数据有urlencode编码的字符串解码？使用unquote
md5加密
import hashlib
#方式1
a=hashlib.md5()
a.update("123456".encode('utf-8'))
print(a.hexdigest())
#方式2
b=hashlib.md5('123456'.encode('utf-8'))
print(b.hexdigest())
重定向（Location）
301 永久性重定向,302 暂时性转移
默认情况下，allow_redirects=True是启用重定向的。
禁用重定向，allow_redirects=False
requests-toolsbelt
表单提交 fields={"键1"："值1","键2"："值2"}
多个文件参数名重复，使用list类型
注意:fields= 可不用写
from requests_boolbelt import MultipartEncoder
import requests
s=requests.session()
m=MultipartEncoder(
fields=[
("名1",("文件名",open("文件名","rb"),"image/jpeg")）, #附件
("名1",("文件名1",open("文件名1","rb"),"image/jpeg")), #附件1
(“名2”,"值3"),
])
s.post(url,data=m,headers={'Content-Type':m.content_type})
elapsed
从发送请求的第一个字节到完成对头的解析所用的时间。
获取响应时间 r.elapsed.total_seconds()
timeout超时
requests发请求的时候有个默认的超时时间，这个时间在20秒左右
timeout=1。超过1s，就会抛出异常。
失败重试 max_retries
Requests自带一个传输适配器，也就是HTTPAdapter
每当Session被初始化，就会有适配器附着在Session上，其中一个供HTTP使用，另一个供HTTPS使用。
from requests.adapters import HTTPAdapter
s=requests.session()
s.mount('http://',HTTPAdapter(max_retries=3))#重试3次
s.mount('https://',HTTPAdapter(max_retries=3))
上传文件时自动判断文件类型（filetype）
如下，由文件路径，得到上传附件的部分参数
import filetype
import os
rp="D:\ch.jpg"
t=filetype.guess(rp).mime
print(t)
pname=os.path.split(rp)[1]
#post请求files参数值的部分内容
print('("{}",open("{}","rb"),"{}")'.format(pname,rp,t))
运行结果
