zoukankan      html  css  js  c++  java
  • user-agent池

    原因
    一部分网站反爬,会通过检查请求的请求头里是否有浏览器的user-agent来判断请求是否是爬虫。当你在请求头里加上user-agent,然后,进行反复的请求后,系统又会判断请求时爬虫,因为单一版本浏览器请求过多,为了达到以假乱真的目的,你需要构建一个user-agent池,然后随机调用,那样相对比较繁琐但有效,如果你不想构造池呢,请看下面。

    解决方法
    pip install fake_useragent

    from fake_useragent import UserAgent

    headers = {
    ‘User-Agent’: UserAgent().random,
    }

    使用这个包以后,妈妈再也不用担心,构建user-agent池了。
    ————————————————
    版权声明:本文为CSDN博主「笑笑布丁」的原创文章,遵循CC 4.0 by-sa版权协议,转载请附上原文出处链接及本声明。
    原文链接:https://blog.csdn.net/qq_40244755/article/details/90137882

  • 相关阅读:
    Web开发规范
    选择器优先级计算
    CSS 技巧
    CSS3滤镜
    CSS3动画
    css3 <3D 转换>
    CSS3 2D 转换
    CSS3文本(text)模型
    CSS3颜色和渐变
    王道8.6
  • 原文地址:https://www.cnblogs.com/duanhaoxin/p/11395521.html
Copyright © 2011-2022 走看看