Requests是唯一的一个非转基因的Python HTTP库，人类可以安全享用。
Requests基础学习
使用方法：
1.导入Requests模块：
import requests
2.尝试用get获取某个页面，以百度为例子
url = 'http://www.baidu.com'
r = requests.get(url)
r是一个response对象。可以从这个对象中获取所有想要的信息。
发送简单get的请求：
response.text和response.content的区别：
response.text
- 返回类型：str
- 解码类型：根据HTTP头部对响应的编码作出有根据的推测的文本编码
- 如何修改编码方式：response.encoding = 'gbk'
response.content
- 返回类型：bytes
- 解码类型：没有指定
- 如何修改编码方式：response.content.decode('ut8-f')
实例：获取百度图片
import requests
url = 'https://www.baidu.com/img/bd_logo1.png'
response = requests.get(url)
with open('baidu.png','wb') as p:
p.write(response.content)
发送带header的get请求：
发送带参数的get请求：
实战（贴吧爬虫）：
import requests
class TiebaSpider:
#构造函数，传入想要查询的贴吧名字和查询前num页，定义后面方法需要用的属性
def __init__(self,tieba_name,tieba_num):
self.tieba_num = tieba_num
self.tieba_name = tieba_name
#下面为url访问的格式,kw为贴吧名,pn为代表页数，贴吧可查首页pn=0,第一页50，第二页100,以此类推
self.url_temp = "https://tieba.baidu.com/f?kw=" + tieba_name + "&ie=utf-8&pn={}"
#模仿网页访问贴吧
self.headers = {"User-Agent":"Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 "
"(KHTML, like Gecko) Chrome/77.0.3865.120 Safari/537.36"}
#获取url列表
def get_urlList(self):
url_list = []
for i in range(self.tieba_num):
url_list.append(self.url_temp.format(i * 50))
return url_list
#访问网页，解析网页,返回
def parse_url(self,url):
response = requests.get(url,headers=self.headers)
return response.text #或者response.content.decode('utf-8')
#保存网页
def save_html(self,html_str,page_num):
file_path = "{}-第{}页.html".format(self.tieba_name,page_num)
with open(file_path,'w',encoding='utf-8') as f:
f.write(html_str)
def run(self):
url_list = self.get_urlList()
for url in url_list:
html_str = self.parse_url(url) #保存的内容
page_num = url_list.index(url) + 1 #文件的页码
self.save_html(html_str,page_num)
def main():
tieba_name = input('请输入想查询的贴吧名：')
tieba_num = int(input('请输入想要查询前几页：'))
tieba = TiebaSpider(tieba_name, tieba_num)
tieba.run()
if __name__ == '__main__':
main()
Requests深入学习
发送post请求
哪些地方我们会用到POST请求：
- 登录注册（POST比GET更安全）
- 需要传输大文本内容的时候（POST请求对数据长度没有要求）
- 所以同样的，我们的爬虫也需要在这两个地方回去模拟浏览器发送post请求
使用代理
为什么爬虫需要使用代理
- 让服务器以为不是同一个客户端在请求
- 防止我们的真实地址被泄漏，防止被追究
用法：request.get（'http://www.baidu.com',proxies = proxies）
proxies的形式：字典
proxies = {
"http" : "http://12.34.56.79:9527",
"https" : "http://12.34.56.79:9527",
}
步骤：
- 准备一堆IP地址，组成ip池，随机选择一个ip来使用
- 随机选择代理ip，让使用次数较少的ip地址有更大的可能性被用到
- {"ip" : ip,"time",0}
- [{},{},{},{},]对这个ip列表进行排序，按照使用次数进行排序
- 选择使用次数较少的10个ip，从中随机选择一个
- 检查ip的可以性
- 可以使用requests添加超时参数，判断ip地址的质量
- 在线代理ip质量检测的网站
爬虫处理cookie和session
带上cookie，session的好处：
能够请求到登录之后的页面
带上cookie，session的弊端：
一套cookie和session往往和一个用户对应，请求太快或者太多，容易被服务器识别为爬虫
不需要cookie的时候尽量不去使用cookie
处理cookies，session请求
requests提供了一个叫session类，来实现客户端和服务端的会话保持
使用方法：
1.实例化一个session对象
2.让session发送get或者post请求
session = requests.session()
cookies = {cookies字典}
response = session.get(url,headers=headers,cookies=cookies)