zoukankan      html  css  js  c++  java
  • 【python 爬虫】fake-useragent Maximum amount of retries reached解决方案

    • 前言

      在用fake-useragent的时候发生报错,fake_useragent.errors.FakeUserAgentError: Maximum amount of retries reached

    • 解决方案
    1. 下载临时 Json 文件,也可以手动下载,代码如下:
    # fake_useragent.errors.FakeUserAgentError: Maximum amount of retries reached
    # 下载: https://fake-useragent.herokuapp.com/browsers/0.1.11 并另存为:fake_useragent_0.1.11.json
    import requests
    url = "https://fake-useragent.herokuapp.com/browsers/0.1.11"
    
    rsp = requests.get(url, stream=True)
    with open('fake_useragent_0.1.11.json', 'wb') as f:
        for i in rsp.iter_content(chunk_size=1024):  # 边下载边存硬盘, chunk_size 可以自由调整为可以更好地适合您的用例的数字
            f.write(i)

          2.拷贝临时 Json 文件,也可以手工操作的,代码如下:

    # 最后将文件拷贝到临时目录中即可
    import tempfile
    tempfile.gettempdir()  # '/var/folders/35/dtbb__ln5k77vv3y0zbsgp8r0000gn/T'
    import os
    os.system('cp fake_useragent.json {}'.format(tempfile.gettempdir()))
    # cp fake_useragent_0.1.11.json /var/folders/35/dtbb__ln5k77vv3y0zbsgp8r0000gn/T
    # 返回0,说明成功;再去查看,显示文件存在

          3.再次验证,代码如下:

    from fake_useragent import UserAgent
    print(UserAgent(verify_ssl=False).random)
    Out [1]:Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2227.0 Safari/537.36

  • 相关阅读:
    Zookeeper安装部署
    dubbo/dubbox部署资料收集
    Dubbo与Zookeeper、SpringMVC整合和使用(负载均衡、容错)
    ios开发--清理缓存
    从零开始,让你的框架支持CocoaPods
    iOS 开发-- Runtime 1小时入门教程
    iOS 开发--github的demo
    linux 防火墙iptables简明教程
    利用BBRSACryptor实现iOS端的RSA加解密
    iOS开发--数组
  • 原文地址:https://www.cnblogs.com/hightech/p/12630909.html
Copyright © 2011-2022 走看看