zoukankan      html  css  js  c++  java
  • scrapy基于请求传参实现深度爬取

    请求传参实现深度爬取

    • 请求传参:

      • 实现深度爬取:爬取多个层级对应的页面数据
      • 使用场景:爬取的数据没有在同一张页面中
      • 在手动请求的时候传递item:yield scrapy.Request(url,callback,meta={'item':item})
        • 将meta这个字典传递给callback
        • 在callback中接收meta:item = response.meta['item']
          def parse(self, response):
              li_list = response.xpath('/html/body/div[1]/div/div/div/div[2]/ul/li')
              for li in li_list:
                  title = li.xpath('./div[1]/a/@title').extract_first()
                  detail_url = 'https://www.4567tv.tv' + li.xpath('./div[1]/a/@href').extract_first()
                  item = MoviespiderItem()
                  item['title'] = title
                  # meta参数是一个字典,该字典就可以传递给callback指定的回调函数
                  yield scrapy.Request(detail_url, callback=self.parse_detail, meta={"item": item})
      
          def parse_detail(self, response):
              # 接收meta:response.meta
              item = response.meta['item']
              desc = response.xpath('/html/body/div[1]/div/div/div/div[2]/p[5]/span[2]/text()').extract_first()
              item["desc"] = desc
              yield item
      

  • 相关阅读:
    CAD输出图至Word
    win7激活工具
    IP地址出现错误
    x%内存可用的问题解决
    第一次来到博客园
    ++x和x++
    标准输入流输出流以及错误流
    关于main函数的参数
    hdu1465 动态规划
    静态变量(static)的特点
  • 原文地址:https://www.cnblogs.com/bigox/p/11447932.html
Copyright © 2011-2022 走看看