zoukankan      html  css  js  c++  java
  • 《python3网络爬虫开发实战》--模拟登陆

    1.cookies池的搭建

    Cookies池需要有自动生成 Cookies、定时检测 Cookies、提供随机 Cookies等几大核心功能。

    Cookies 池架构的基本模块分为 4 块:存储模块 、 生成模块、检测模块和接口模块 。 每个模块的

    功能如下 。

    • 存储模块负责存储每个账号的用户名密码以及每个账号对应的 Cookies 信息,同时还需要提供一些方法来实现方便的存取操作 。
    • 生成模块负责生成新的 Cookies。 此模块会从存储模块逐个拿取账号的用户名和密码, 然后模拟登录目标页面,判断登录成功,就将 Cookies返回并交给存储模块存储。
    • 检测模块需要定时检测数据库中的 Cookies。 在这里我们需要设置一个检测链接,不同的站点检测链接不同,检测模块会逐个拿取账号对应的 Cookies 去请求链接,如果返回的状态是有效的,那么此 Cookies 没有失效,否则 Cookies 失效并移除 。 接下来等待生成模块重新生成即可。
    • 接口模块需要用 API来提供对外服务的接口 。 由于可用的 Cookies可能有多个 , 我们可以 随机返回 Cookies的接口,这样保证每个 Cookies都有可能被取到 。 Cookies越多 , 每个 Cookies被取到的概率就会越小,从而减少被封号的风险 。

    2.cookies池的实现

  • 相关阅读:
    HDU 3339 In Action 最短路+01背包
    hash与map的区别联系应用(转)
    POJ
    欧几里德与扩展欧几里德算法(转)
    POJ
    第三届蓝桥杯C++B组省赛
    第四届蓝桥杯C++B组省赛
    第五届蓝桥杯C++B组省赛
    第六届蓝桥杯C++B组省赛
    线段树为什么要开4倍空间
  • 原文地址:https://www.cnblogs.com/chengchengaqin/p/9807339.html
Copyright © 2011-2022 走看看