zoukankan      html  css  js  c++  java
  • pyppeteer初尝滋味

    最近在爬几个电商平台网站用的selenium一登录就会有验证,目前这些网站对selenium检测很严格

    因为不少大网站有对selenium的js监测机制。比如navigator.webdrivernavigator.languagesnavigator.plugins.length,
    美团,大众,淘宝这些大站点都有这种技术能力。正常情况下 window.navigator.webdriver的值为undefined

    而当我们使用selenium 的时候-window.navigator.webdriver的值为True。 如下图

    pyppeteer

    中文翻译是:木偶

    文档说明:

      ---https://github.com/GoogleChrome/puppeteer/blob/master/docs/api.md

     

    与selenium对比

    selenium,不过是在服务器在第一次发送js并在本地验证的时候,做好‘第一次’的伪装,从而实现‘第一次登陆’有效

    pyppeteer 加 asyncio 绕过selenium检测,实现鼠标滑动后自动登陆(代码很简单。主要熟悉异步模块及pyppeteer模块) 

       

    爬某宝栗子:

     与selenium对比 可以进行输入框  但是再往下,还是要登录验证  , 遂问题并没有解决,但是相对selenium  还是有一定优势 ,先记录一下

  • 相关阅读:
    C语言I博客作业08
    C语言I博客作业07
    第十周助教总结
    关于Dev-c++运行时与Windows不兼容问题
    C语言I博客作业06
    第九周助教总结
    C语言I作业07
    C语言I博客作业06
    C语言I作业05

  • 原文地址:https://www.cnblogs.com/sunny666/p/10721842.html
Copyright © 2011-2022 走看看