zoukankan      html  css  js  c++  java
  • 【python 爬虫】fake-useragent Maximum amount of retries reached解决方案

    • 前言

      在用fake-useragent的时候发生报错,fake_useragent.errors.FakeUserAgentError: Maximum amount of retries reached

    • 解决方案
    1. 下载临时 Json 文件,也可以手动下载,代码如下:
    # fake_useragent.errors.FakeUserAgentError: Maximum amount of retries reached
    # 下载: https://fake-useragent.herokuapp.com/browsers/0.1.11 并另存为:fake_useragent_0.1.11.json
    import requests
    url = "https://fake-useragent.herokuapp.com/browsers/0.1.11"
    
    rsp = requests.get(url, stream=True)
    with open('fake_useragent_0.1.11.json', 'wb') as f:
        for i in rsp.iter_content(chunk_size=1024):  # 边下载边存硬盘, chunk_size 可以自由调整为可以更好地适合您的用例的数字
            f.write(i)

          2.拷贝临时 Json 文件,也可以手工操作的,代码如下:

    # 最后将文件拷贝到临时目录中即可
    import tempfile
    tempfile.gettempdir()  # '/var/folders/35/dtbb__ln5k77vv3y0zbsgp8r0000gn/T'
    import os
    os.system('cp fake_useragent.json {}'.format(tempfile.gettempdir()))
    # cp fake_useragent_0.1.11.json /var/folders/35/dtbb__ln5k77vv3y0zbsgp8r0000gn/T
    # 返回0,说明成功;再去查看,显示文件存在

          3.再次验证,代码如下:

    from fake_useragent import UserAgent
    print(UserAgent(verify_ssl=False).random)
    Out [1]:Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2227.0 Safari/537.36

  • 相关阅读:
    python 数据结构与算法之排序(冒泡,选择,插入)
    python 面向对象基础和高级复习
    python numpy模块
    高精度算法
    数论
    位运算和时间复杂度的分析
    C++ OI图论 学习笔记(初步完结)
    C++语言入门知识点(详细版)【持续更新每周三更】,小舒舒戳这里!!!
    C++基础语言知识大汇总(不断更新!!!)
    二分
  • 原文地址:https://www.cnblogs.com/hightech/p/12630909.html
Copyright © 2011-2022 走看看