scrapy中间件分下载器中间件和爬虫中间件
下载器中间件（downloader middlewares）:主要处理request请求发出去和response响应返回的一些回调。
方法：
process_request(self,request,spider)：
当request请求经过下载器中间件的时候调用
返回为None：继续请求
返回为Request对象，把request对象交给调度器，进行后续请求
返回为Response对象，不再请求，response交给引擎然后给爬虫
这个方法可以给request请求增加代理ip，cookie，user-agent，还可以集成selenium，返回HtmlResponse(url,body=,request=,encoding=)
process_response(self,request,response,spider)：
下载器完成http请求，返回responser给引擎时调用
返回为Request对象，交给调度器继续请求
返回为Response对象，交给下一个process_response处理
这个方法，可以进行cookie池的维护，或者对response进行MD5加密，判断页面是否变化
process_exception(request,exception,spider)：
当下载处理区或者process_request抛出异常时，scrapy框架调用process_exception处理，但是不处理process_response抛出的异常，此异常调用requst的errback(Request.errback)处理
返回为None，调用其他process_exception方法继续处理，直到所有中间件调用完毕，调用默认的异常处理
返回为Response对象，异常纠正，交给下一个process_response处理
返回为Request对象，交给调度器继续请求
爬虫中间件（spider middlewares）:处理解析数据(item)的相关逻辑修正，比如数据不完整添加默认、增加其他额外信息。（处理输入response的跨域或robots拦截，输出item或request）
方法：
process_spider_input(self,response,spider)：
response通过中间件，该方法调用
返回None，交给下一个process_spider_input处理
process_spider_output(self,response,result,spider)：
当spider处理response返回reult，该方法调用
该方法必须返回包含requset或item对象的可迭代对象iterable
process_spider_exception(response,exception,spider)：
当spider或process_spider_input抛出异常时，该方法调用
返回为None，交给其他process_spider_exception继续处理
返回一个包含responser或item对象的可迭代对象(iterable)，交给其process_spider_output方法
process_start_request(start_request,spider)：
spider启动start_requests() 时调用
接受一个可迭代对象(start_request参数)且必须返回一个包含Request对象的可迭代对象