增量式爬虫

增量式爬虫通过爬虫程序监测某网站数据更新的情况，以便可以爬取到该网站更新出的新数据。增量式爬虫核心在于跳过之前已经爬去过的数据，也就是实现请求去重！

去重方法

• 将爬取过程中产生的url进行存储，存储在redis的set中。当下次进行数据爬取时，首先对即将要发起的请求对应的url在存储的url的set中做判断，如果存在则不进行请求，否则才进行请求。
• 对爬取到的网页内容进行唯一标识的制定，然后将该唯一表示存储至redis的set中。当下次爬取到网页数据的时候，在进行持久化存储之前，首先可以先判断该数据的唯一标识在redis的set中是否存在，在决定是否进行持久化存储。

增量式爬虫案例

　　4567电影网电影及描述信息（http://www.4567kan.com/index.php/vod/show/id/5.html）

　　1.创建爬虫项目（基于CrawlSpider类）

　　 scrapy startproject zls_moviePro

　　 cd zls_moviePro

　　scrapy genspider -t crawl zls_movieTest www.xxx.com

　　2.编写爬虫文件zls_movieTest.py　　

# -*- coding: utf-8 -*-
import scrapy
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule
from redis import Redis
from zls_moviePro.items import ZlsMovieproItem

#获取电影名称及对应的描述
class ZlsMovietestSpider(CrawlSpider):
    #连接redis数据库
    conn = Redis(host='127.0.0.1', port=6379)
    name = 'zls_movieTest'
    # allowed_domains = ['www.xxx.com']
    start_urls = ['http://www.4567kan.com/index.php/vod/show/id/5.html']

    rules = (
        Rule(LinkExtractor(allow=r'index.php/vod/show/id/5/page/d+.html'), callback='parse_item', follow=True),
    )

    def parse_item(self, response):

        li_list=response.xpath('/html/body/div[1]/div/div/div/div[2]/ul/li')
        for li in li_list:
            item = ZlsMovieproItem()
            item['name']  = li.xpath('.//div[@class="stui-vodlist__detail"]/h4/a/text()').extract_first()
            url='http://www.4567kan.com'+li.xpath('.//div[@class="stui-vodlist__detail"]/h4/a/@href').extract_first()
            #经电影详情的url存在redis数据库的集合中，可以去重进行判断是否爬取过
            ex = self.conn.sadd('movie_detail_urls', url)#添加成功返回1，否则为0
            if ex==1:
                print('数据有更新，正在下载...')
                yield scrapy.Request(url=url, callback=self.parse_detail, meta={'item': item})
            else:
                print('暂无数据更新！')

    def parse_detail(self, response):
        movie_desc = response.xpath('/html/body/div[1]/div/div/div/div[2]/p[5]/span[2]/text()').extract_first()
        item = response.meta['item']
        item['desc'] = movie_desc
        yield item

　　3.items.py字段属性定义

import scrapy


class ZlsMovieproItem(scrapy.Item):
    # define the fields for your item here like:
    name = scrapy.Field()
    desc=scrapy.Field()
    pass

　　4.pipelines.py管道配置

class ZlsMovieproPipeline(object):
    def process_item(self, item, spider):
        spider.conn.lpush('movie_data',item)#spider为爬虫文件类的实例化对象，将item字典数据存储在redis数据库的movie_data对应的列表中
        return item

　　5.settings.py配置文件

#UA伪装
USER_AGENT = "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36"
#robots协议
ROBOTSTXT_OBEY = False
#日志输出等级
LOG_LEVEL="ERROR"

#开启管道
ITEM_PIPELINES = {
   'zls_moviePro.pipelines.ZlsMovieproPipeline': 300,
}

　　6.启动爬虫项目

　　scrapy crawl  zls_movieTest