之前用scrapy爬取网页时经常出现需要验证码，但是返回的是个response对象，不知道要如何进行破解。
以往都是selenium进行截图验证码，模拟拖动，但是scrapy在yield请求后就直接走了，不知道如何下手。
百度了一圈，后面发现原来大家都是靠中间件来完成突破验证码的
首先经过爬虫的话，要处理请求的话应该调用
DownloaderMiddleware里的process_request
要处理响应的话应该调用
DownloaderMiddleware里的process_response
其余的像UA，代理切换的中间件应该优先级在DownloaderMiddleware之前。
像对验证码的处理的话应该在process_response判断是不是出现验证码，是的话换ip切UA来绕过它