Python：requests高级_模拟登陆

cookie

• cookie是由服务器创建的，存储在客户端的一组键值对

import requests
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.163 Safari/537.36'
}
# 将雪球网中的新闻资讯进行爬取: https://xueqiu.com/
# 分析：首页第一屏的数据是动态加载，滚轮滑动到底部后会加载更新新闻数据
url = 'https://xueqiu.com/statuses/hot/listV2.json?since_id=-1&max_id=-1&size=15'
json_data = requests.get(url,headers=headers).json()
print(json_data)
 

# 利用session来获取cookie
session = requests.Session()
# 捕获cookie存储到session中，便于下次用session去获取数据的时候自带cookie
session.get(url='https://xueqiu.com',headers=headers)

url = 'https://xueqiu.com/statuses/hot/listV2.json?since_id=-1&max_id=-1&size=15'
json_data = session.get(url,headers=headers).json()
print(json_data)

代理操作

• 爬虫程序由于要在短时间内对指定的服务器发起高频请求，从而服务器端可能会将该IP禁止掉
• 代理服务器：用来转发请求和响应，可让代理服务器转发请求从而更换请求的原始ip地址
• 如何获取代理服务器？
• 免费：几乎不可用
• 西祠代理/快代理/goubanjia
• 付费：智联HTTP：http://http.zhiliandaili.cn/

### 以下代码并未进过验证，只是为了展示实现原理 ###
# 对https://www.xicidaili.com/nn/3网站进行高频请求发送，来让服务器禁用IP，再使用代理机制解除
from lxml import etree
url = 'https://www.xicidaili.com/nn/%d'
all_data = []
for page in range(1,30):
    new_url = format(ulr%page)
    page_text = requests.get(new_url, headers=headers).text
    tree = etree.HTML(page_text)
#     tr_list = tree.xpath('//*[@id="ip_list"]/tbody/tr')  # 星号*表示通配符
    tr_list = tree.xpath('//*[@id="ip_list"]//tr')[1:]  # xpath表达是中不能出现tbody标签，去掉，用//代替
    for tr in tr_list:
        ip_address = tr.xpath('./td[2]/text()')[0]
        all_data.append(ip_address)

### 以下代码并未进过验证，只是为了展示实现原理 ###
# 1. 构建代理池：
ip_list = [
    {'https':'192.168.1.1:1111'},
    {'https':'192.168.1.1:1111'},
    {'https':'192.168.1.1:1111'},
]
# 2. 使用代c理词操作：
url = 'https://www.xicidaili.com/nn/%d'
all_data = []
for page in range(1,30):
    new_url = format(ulr%page)
#     page_text = requests.get(url, headers=headers).text
    # 用代理
    import random
    page_text = requests.get(new_url,headers=headers,proxies=random.choice(ip_list))

    tree = etcree.HTML(page_text)
    tr_list = tree.xpath('//*[@id="ip_list"]//tr')[z1:]  # xpath表达是中不能出现tbody标签，去掉，用//代替
    for tr in tr_list:
        ip_address = tr.xpath('./td[2]/text()')[0]
        all_data.append(ip_address)

问题：

• 问题：在大量发送请求的时候，经常会报出错误：HTTPConnectionPool (host:xx) Max retrieve exceeded with url
• 原因：

1. 每次数据传输给客户端都需要和服务器简历TCP连接，为了节省传输的消耗 ，默认Connection: keep-alive；如果迟迟不断开的话，在连接池满了后则导致无法产生新的连接对象，导致请求无法发送。
2. 请求太频繁
3. IP被禁

• 解决：如果下列解决方法都未生效，则尝试再次执行原程序

1. 设置请求头的Connection=close，表示每次连接成功后断开连接
2. 每次请求之间sleep一段时间后再次执行
3. 更换请求IP

验证码识别

• 线上的打码平台进行验证码识别
• 云打码：http://www.yundama.com/about.html
• 超级鹰（使用）：http://www.chaojiying.com/about.html
• 超级鹰
• 注册/登录：身份【用户中心】
• 创建一个软件：软件ID-》生成一个软件ID（899370）
• 下载示例代码：开发文档-》python

# 超级鹰的示范代码

#!/usr/bin/env python
# coding:utf-8

import requests
from hashlib import md5

class Chaojiying_Client(object):

    def __init__(self, username, password, soft_id):
        self.username = username
        password =  password.encode('utf8')
        self.password = md5(password).hexdigest()
        self.soft_id = soft_id
        self.base_params = {
            'user': self.username,
            'pass2': self.password,
            'softid': self.soft_id,
        }
        self.headers = {
            'Connection': 'Keep-Alive',
            'User-Agent': 'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0)',
        }

    def PostPic(self, im, codetype):
        """
        im: 图片字节
        codetype: 题目类型 参考 http://www.chaojiying.com/price.html
        """
        params = {
            'codetype': codetype,
        }
        params.update(self.base_params)
        files = {'userfile': ('ccc.jpg', im)}
        r = requests.post('http://upload.chaojiying.net/Upload/Processing.php', data=params, files=files, headers=self.headers)
        return r.json()

    def ReportError(self, im_id):
        """
        im_id:报错题目的图片ID
        """
        params = {
            'id': im_id,
        }
        params.update(self.base_params)
        r = requests.post('http://upload.chaojiying.net/Upload/ReportError.php', data=params, headers=self.headers)
        return r.json()

#自己封装的一个识别验证码图片的函数   
def transform_code_img(imgPath,imgType):
    chaojiying = Chaojiying_Client('username', 'password', 'soft_id')   #用户中心>>软件ID 生成一个替换 96001
    im = open(imgPath, 'rb').read()#本地图片文件路径 来替换 a.jpg 有时WIN系统须要//
    return chaojiying.PostPic(im, imgType)['pic_str']#1902 验证码类型  官方网站>>价格体系 3.4+版 print 后要加()
#调用识别验证码的函数对验证码进行识别
transform_code_img('./a.jpg',4004)


### 将古诗文网中的验证码图片进行识别
### 以下代码并未进过验证，只是为了展示实现原理 ###
sess = requests.Session() #创建好session对象,保存cookies
#处理动态变化的请求参数
#1.解析出本次登录页面对应的验证码图片地址
login_url = 'https://so.gushiwen.org/user/login.aspx?from=http://so.gushiwen.org/user/collect.aspx'
page_text = sess.get(url=login_url,headers=headers).text
tree = etree.HTML(page_text)
#解析出了验证码图片的地址
img_path = 'https://so.gushiwen.org'+tree.xpath('//*[@id="imgCode"]/@src')[0]
img_data = sess.get(url=img_path,headers=headers).content #请求到了图片数据

#将图片保存到本地存储
with open('./code.jpg','wb') as fp:
    fp.write(img_data)
#将动态变化的请求参数从页面源码中解析出来
__VIEWSTATE = tree.xpath('//*[@id="__VIEWSTATE"]/@value')[0]
__VIEWSTATEGENERATOR = tree.xpath('//*[@id="__VIEWSTATEGENERATOR"]/@value')[0]

#识别验证码
code_result = transform_code_img('./code.jpg',1004)
print(code_result)

post_url = 'https://so.gushiwen.org/user/login.aspx?from=http%3a%2f%2fso.gushiwen.org%2fuser%2fcollect.aspx'
data = {
    "__VIEWSTATE":__VIEWSTATE,
    "__VIEWSTATEGENERATOR":__VIEWSTATEGENERATOR,
    "from": "http://so.gushiwen.org/user/collect.aspx",
    "email": "email_address",
    "pwd": "password",
    "code": code_result,
    "denglu": "登录",
}
#模拟登录的请求
response = sess.post(url=post_url,headers=headers,data=data)
page_text = response.text #登录成功后页面的源码数据
with open('gushiwen.html','w',encoding='utf-8') as fp:
    fp.write(page_text)

参考：https://www.bilibili.com/video/BV1tE411F7do（P9~P12）