zoukankan      html  css  js  c++  java
  • Scrapy下载中间件的优先级(神踏马值越小优先级越高)

    自从之前看的一篇讲Scrapy下载中间件的文章后,一直认为设置里下载中间件的优先级数值越小,越优先,最近要抓的网站反爬增强了,所以需要使用代理ip,但是由于使用的是免费代理以至于经常失效,需要对失效的代理进行删除并设置新的代理重新发出请求,但是我编写的中间件怎么也不会被执行,由此天降大坑,废话说了这么多,直接看优先级到底是怎么样的;

    1、我们先编写两个下载中间件,如下图

    2、设置两个中间件的优先级,如下图

    3、执行结果,如下图

    总结

      我们可以看到A_MiddleWare的优先级值为300,B_MiddleWare的优先级值为400,由第三步图所示,其实优先级的调用顺序是在请求时,优先级值越的优先级越高(更接近引擎),在响应时,优先级值越的优先级越高(更接近下载器),当发生异常时,更接近下载器的优先级越高,在设置中间件优先级时一定要确定好顺序链。

  • 相关阅读:
    svn不提交.net项目中的bin
    java 与C# 时间格式 交互
    生成菜单序列号
    ashx 方法模板
    webservice使用方法
    如何配置IIS服务器?
    zepto.fullpage
    模拟单选框
    star score
    Hover show tips
  • 原文地址:https://www.cnblogs.com/FuckSpider/p/11647041.html
Copyright © 2011-2022 走看看