zoukankan      html  css  js  c++  java
  • scrapy-redis详解

    scrapy-redis使用的爬虫策略:

    Slaver端从Master端拿任务进行数据抓取,在抓取数据的同时也生成新任务,并将任务抛给Master。Master端负责对Slaver提交的任务进行去重、加入待爬队列。

    scrapy-redis在处理分布式时,会在redis中创建两个key,一个是(spider.name):requests作为队列使用,另一个是(spider.name): dupefilter作用是去重

    队列任务分配

    Slaver端解析到新的URL任务,先判断在key: dupefilter中是否已经存在,如果没有则将其push记录到key:requests的任务队列中,保存的格式如:

    {'body': '', '_encoding': 'utf-8', 'cookies': {}, 'meta': {}, 'headers': {}, 'url': u'http://www.test.com/test', 'dont_filter': False, 'priority': 0, 'callback': 'parse_item', 'method': 'GET', 'errback': None}

    key:requests作为一个任务分配,将一个任务pop分配后即在队列中删除

    去重

    将分配过的任务保存其sha1值到key: dupefilter中,格式如:

    1babbfde30b0030559373ebe3e2a7a0955527e5f

    每次往队列中添加任务前先判断下key: dupefilter中是否已经存在,去重

    断点重爬

    当爬虫停止,key:requests队列中的任务依然存在,下次启动继续

  • 相关阅读:
    Ch’s gift HDU
    String HDU
    Rikka with String HDU
    DNA repair HDU
    Ring HDU
    A Secret HDU
    看详细的tomcat报错信息
    linux tomcat服务器优化配置
    linux常用命令
    关于Context []startup failed due to previous errors有效解决方式
  • 原文地址:https://www.cnblogs.com/leaf-7/p/5509075.html
Copyright © 2011-2022 走看看