zoukankan      html  css  js  c++  java
  • 【python 爬虫】fake-useragent Maximum amount of retries reached解决方案

    • 前言

      在用fake-useragent的时候发生报错,fake_useragent.errors.FakeUserAgentError: Maximum amount of retries reached

    • 解决方案
    1. 下载临时 Json 文件,也可以手动下载,代码如下:
    # fake_useragent.errors.FakeUserAgentError: Maximum amount of retries reached
    # 下载: https://fake-useragent.herokuapp.com/browsers/0.1.11 并另存为:fake_useragent_0.1.11.json
    import requests
    url = "https://fake-useragent.herokuapp.com/browsers/0.1.11"
    
    rsp = requests.get(url, stream=True)
    with open('fake_useragent_0.1.11.json', 'wb') as f:
        for i in rsp.iter_content(chunk_size=1024):  # 边下载边存硬盘, chunk_size 可以自由调整为可以更好地适合您的用例的数字
            f.write(i)

          2.拷贝临时 Json 文件,也可以手工操作的,代码如下:

    # 最后将文件拷贝到临时目录中即可
    import tempfile
    tempfile.gettempdir()  # '/var/folders/35/dtbb__ln5k77vv3y0zbsgp8r0000gn/T'
    import os
    os.system('cp fake_useragent.json {}'.format(tempfile.gettempdir()))
    # cp fake_useragent_0.1.11.json /var/folders/35/dtbb__ln5k77vv3y0zbsgp8r0000gn/T
    # 返回0,说明成功;再去查看,显示文件存在

          3.再次验证,代码如下:

    from fake_useragent import UserAgent
    print(UserAgent(verify_ssl=False).random)
    Out [1]:Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2227.0 Safari/537.36

  • 相关阅读:
    ios swift 支持cocoaPods
    iOS 国际化
    ios storyboard全解析 (二)
    ios storyboard全解析 (一)
    UML类图的几个关系自我总结,(入门级)
    crypt 病毒
    js思维导向图
    关于索引的使用
    SQL Server 索引结构及其使用
    关于js数组的那些事
  • 原文地址:https://www.cnblogs.com/hightech/p/12630909.html
Copyright © 2011-2022 走看看