zoukankan      html  css  js  c++  java
  • 关于scrapy 使用代理相关问题

    在scrapy中使用代理时,我们不能保证每个代理都可用,难免出现代理ip错误的情况,如果代理ip出现错误设置一个请求超时和重新发送这个链接

    在yield scrapy.Request时候加上一个参数:

    meta={'download_timeout': 10}

    代表请求超时为10秒

    然后在settings中设置如下:

    RETRY_ENABLED = True
    RETRY_TIMES = 5

    保存即可

  • 相关阅读:
    元组类型
    字符串类型
    列表类型
    python 循环
    python语句
    python运算符
    python1
    软件管理
    rpm yum
    LVM
  • 原文地址:https://www.cnblogs.com/lilinpging/p/8298331.html
Copyright © 2011-2022 走看看