爬虫 ---模拟登录

模拟登录

模拟登陆是什么鬼?

　　有些时候,我们在爬取某些网站内容的时候,网站要求登录后才能操作..,但是处理验证码;

模拟登陆的流程

• 对登录页面进行请求,从请求的页面源码中解析下载验证码图片
• 使用打码平台对验证码进行识别
• 基于登录按钮发起一个post请求(处理参数)

模拟登录的意义和作用

　　爬取基于某些用户的用户信息,获取cookie

验证码识别

　　三方工具:云打码平台--->识别验证码种类比较全,无法处理滑动验证码.

云打码平台

　　使用流程如下:

#使用流程
1.注册
2.登录
    - 普通用户 --->查询剩余题分(可充值)
    - 开发者用户
        创建软件：我的软件-》添加新软件（ID，秘钥）
        下载示例代码：开发文档-》点此下载：云打码接口DLL-》PythonHTTP示例下载

Cookies的应用和处理

cookies : 服务端记录客户端的状态

　　处理cookies的方式

   　　 手动处理 : 不建议,(通用性不强,有些验证码动态生成)

    　　自动处理 : 会话对象Session,该对象可以像requests一样进行网络请求发送(get,post),session进行的请求发送可以自动携带和处理cookie.

　　使用requests模块和session对象的区别

　　　　session会携带参数进行请求,而requests不会.

代理ip

1.为什么使用代理 ?

　　访问频率过高,导致ip被封禁,因此要使用代理.

2.常见代理服务器 有哪些?

　　快代理 西祠代理  goubanjia

3. 匿名度

• 透明:对方服务器知道你的使用了代理ip,也知道你的真实ip
• 匿名:知道你使用了代理ip但是不知道你的真实ip
• 高匿:什么都不知道

4.请求类型类型

#两种http和https
- http：只可以发起http请求
- https：只可以发起https的请求

5.应用场景

#代理ip的应用 -->proxies参数 提供字典键值对http/https 代理ip地址即可

url = 'http://www.baidu.com/s?wd=ip'
page_text = requests.get(url=url,headers=headers,proxies={'http':'117.127.0.202:80'}).text
with open('./ip.html','w',encoding='utf-8') as fp:
    fp.write(page_text)
    print('完成')

 6.为什么要应用代理池?

　　为了应用更多的代理ip,增加效率