zoukankan      html  css  js  c++  java
  • pyppeteer初尝滋味

    最近在爬几个电商平台网站用的selenium一登录就会有验证,目前这些网站对selenium检测很严格

    因为不少大网站有对selenium的js监测机制。比如navigator.webdrivernavigator.languagesnavigator.plugins.length,
    美团,大众,淘宝这些大站点都有这种技术能力。正常情况下 window.navigator.webdriver的值为undefined

    而当我们使用selenium 的时候-window.navigator.webdriver的值为True。 如下图

    pyppeteer

    中文翻译是:木偶

    文档说明:

      ---https://github.com/GoogleChrome/puppeteer/blob/master/docs/api.md

     

    与selenium对比

    selenium,不过是在服务器在第一次发送js并在本地验证的时候,做好‘第一次’的伪装,从而实现‘第一次登陆’有效

    pyppeteer 加 asyncio 绕过selenium检测,实现鼠标滑动后自动登陆(代码很简单。主要熟悉异步模块及pyppeteer模块) 

       

    爬某宝栗子:

     与selenium对比 可以进行输入框  但是再往下,还是要登录验证  , 遂问题并没有解决,但是相对selenium  还是有一定优势 ,先记录一下

  • 相关阅读:
    51nod 1051【基础】
    HDU5971【瞎搞】
    Lightoj1018 【状压DP】
    HDU2604【矩阵快速幂】
    HDU1501【简单DP】
    HDU3555【数位DP】
    Lightoj1037【状压DP】
    51nod 1099【贪心】
    HDU5950【矩阵快速幂】
    51nod 1049【经典】
  • 原文地址:https://www.cnblogs.com/sunny666/p/10721842.html
Copyright © 2011-2022 走看看