zoukankan      html  css  js  c++  java
  • 【python 爬虫】fake-useragent Maximum amount of retries reached解决方案

    • 前言

      在用fake-useragent的时候发生报错,fake_useragent.errors.FakeUserAgentError: Maximum amount of retries reached

    • 解决方案
    1. 下载临时 Json 文件,也可以手动下载,代码如下:
    # fake_useragent.errors.FakeUserAgentError: Maximum amount of retries reached
    # 下载: https://fake-useragent.herokuapp.com/browsers/0.1.11 并另存为:fake_useragent_0.1.11.json
    import requests
    url = "https://fake-useragent.herokuapp.com/browsers/0.1.11"
    
    rsp = requests.get(url, stream=True)
    with open('fake_useragent_0.1.11.json', 'wb') as f:
        for i in rsp.iter_content(chunk_size=1024):  # 边下载边存硬盘, chunk_size 可以自由调整为可以更好地适合您的用例的数字
            f.write(i)

          2.拷贝临时 Json 文件,也可以手工操作的,代码如下:

    # 最后将文件拷贝到临时目录中即可
    import tempfile
    tempfile.gettempdir()  # '/var/folders/35/dtbb__ln5k77vv3y0zbsgp8r0000gn/T'
    import os
    os.system('cp fake_useragent.json {}'.format(tempfile.gettempdir()))
    # cp fake_useragent_0.1.11.json /var/folders/35/dtbb__ln5k77vv3y0zbsgp8r0000gn/T
    # 返回0,说明成功;再去查看,显示文件存在

          3.再次验证,代码如下:

    from fake_useragent import UserAgent
    print(UserAgent(verify_ssl=False).random)
    Out [1]:Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2227.0 Safari/537.36

  • 相关阅读:
    Team Foundation Sidekicks 2010
    Asp.net页面传值的方式汇总
    轻量级IOC框架Ninject使用
    AutoMapper使用简单总结
    页面请求的方式(Get与Post)
    总结2012 规划2013
    在reset css后两个input之间还是出现默认间隔的问题。
    js学习笔记事件委托
    程序猿工具——svn
    JS 事件添加onclick写法注意。
  • 原文地址:https://www.cnblogs.com/hightech/p/12630909.html
Copyright © 2011-2022 走看看