zoukankan      html  css  js  c++  java
  • scrapy框架使用.Request使用meta传递数据,以及deepcopy的使用,这种三层for循环,就会有deepcopy的问题,

    scrapy.Request(url[,callback,method="GET",headers,body,cookies,meta,dont_filter=False])

    参数meta说明:
    1)meta是一个字典,主要用于解析函数之间传递值;
    2)Request对象接受一个meta参数,即一个字典对象,同时Response对象有一个meta属性可以取到相应request传过来的meta;
    即:一方传递,另一方接收


    问题:
    meta传递值,有时候当前爬虫解析出来的数据需要重复抓取,获取到的值有时需要传递给下一个函数
    但是 items= response.meta['item'] 接收的时候一直是同样的值

    解决:
    在yield的时候,meta参数的值做深度拷贝就可以了

    yield scrapy.Request(detail_url,
    callback=self.next_page,
    meta={'item': deepcopy(item)})


    结合代码说明为什么爬取图书数据重复时需要deepcopy? -----这里省略代码,理解用法即可

    - a = deepcopy(b) # 相当于强制传值
    - scrapy中的内容是异步执行的,解析函数可能同时在执行,操作的是同一个item,
    - 大分类下的所有的图书用的是一个item字典


    补充:
    copy与deepcopy区别:
    我的理解是:copy 相当于一个替身,只是表面的假象,真主换动作了替身也要随着变;
    deepcopy 当作一对双胞胎,虽然相似,但实际上是各自独立的特征

  • 相关阅读:
    codeforces 1012C
    openjudge 6045:开餐馆
    openjudge 7624:山区建小学
    codevs 1040 统计单词个数
    openjudge9267:核电站
    openjudge7624:山区建小学
    bzoj3224:普通平衡树
    洛谷1137:旅行计划
    洛谷1095:守望者的逃离
    校内模拟赛:确定小组
  • 原文地址:https://www.cnblogs.com/andy0816/p/15257303.html
Copyright © 2011-2022 走看看