zoukankan      html  css  js  c++  java
  • Scrapy框架-中间件

    一.中间件中主要有3个函数方法

    • process_request:处理请求,默认返回值是None
    • process_response:处理响应,默认返回值是response对象
    • process_exception:处理错误信息,默认返回值是None

    二.中间件三个方法的返回值返回的结果

    1.process_request

    返回None:会走下一个中间件的process_request正常往下走

    返回request对象:把对象返回给引擎再引擎再从头重新给第一个中间件的process_request

    返回response对象:把对象返回给给最后一个中间件process_response

    抛出异常:返回一个中间件process_exception

    2.process_response

    返回None:不会传给上一个中间件process_response,中途端口

    返回request对象:把对象返回给引擎再引擎再从头重新给第一个中间件的process_request

    返回response对象:给上一个中间件process_response正常往下走

    抛出异常:不会被process_exception 捕获,直接给errback

    3.process_exception

    返回None::给上一个中间件process_response正常往下走

    返回request对象:把对象返回给引擎再引擎再从头重新给第一个中间件的process_request

    返回response对象:把对象返回给给最后一个中间件process_response

    三.中间件的设置

    setting.py中设置

    #setting.py下面这段代码注释打开即可
    DOWNLOADER_MIDDLEWARES = {
        #字典前面的key代表中间件的类
        #其中后面的参数代表优先级数字越小优先级越大
        'myscrapy.middlewares.MyscrapyDownloaderMiddleware': 543, 
    }
    
  • 相关阅读:
    Python
    deleted
    deleted
    ZOJ 3593 One Person Game(ExGcd + 最优解)题解
    ZOJ 3609 Modular Inverse(扩展欧几里得)题解
    P2234 [HNOI2002]营业额统计(Splay树)题解
    FJUT seventh的tired树上路径(01字典树)题解
    HDU 4825 Xor Sum(01字典树)题解
    Newcoder Metropolis(多源最短路 + Dijkstra堆优化)题解
    HDU 5938 Four Operations(乱搞)题解
  • 原文地址:https://www.cnblogs.com/pythonywy/p/11722713.html
Copyright © 2011-2022 走看看