爬虫---10.scrapy框架(肆-中间件)

• 中间件
  • 作用 批量拦截请求和响应的
  • 爬虫中间件 引擎和spider中间的是爬虫中间件
  • 下载中间件（推荐） 下载器和引擎之间是下载中间件
    • 拦截请求
      • 篡改请求url
      • 伪装请求头信息
        • UA
        • Cookie
      • 设置请求代理（重点）
    • 拦截响应
      • 篡改响应数据