啥是增量式爬虫？
增量式爬虫就是爬取那些更新频率很快的网站，但是我们又不想每次都删库再建库，所以有了增量式爬虫。效果是将爬虫内容在数据库中进行判断，如果不存在则存入，存在则不存入的一个爬虫。
我们用什么数据库？
在这里我使用的是redis数据库，因为增量式爬虫的最主要核心就是去重，而redis中有set方法，用于去重很方便。
判断网站中的内容是否存储过的方法？
我将网站的内容分为两种，一种是内容少的，一种是内容多的。
内容少的就直接将数据存储到redis数据库中，然后通过数据库的查询判断一下。
# 创建连接对象
conn = Redis(host='127.0.0.1',port=6379)
# 向redis数据库里面添加内容，如果返回的是1，则没有存储过内容，将爬取的内容存到数据库，如果返回的是0，则证明存储过内容，这样直接pass
ex = conn.sadd(key,value)
if ex == 1:
# 发请求，获取详情页面数据
yield scrapy.Request(url=url,callback=slef.函数名)
else:
pass
内容多的就可以通过将内容进行hashlib进行唯一加密，生成数据指纹，然后判断加密内容与数据库中的内容是否一致
# 导包
import hashlib
# 自己定制一种形式的数据指纹
source = '所有数据进行内容拼接'
# 进行hash加密
hashValue = hashlib.sha256(source.encode()).hexdigest()
# 然后向数据库里面存储
ex = conn.sadd(key,hashValue)
# 进行判断
if ex == 1:
# 发请求，获取详情页面数据
yield scrapy.Request(url=url,callback=slef.函数名)
else:
pass
这样就可以完成增量式爬虫的实现过程，增量式爬虫的最主要核心就是去重，解决去重方式即可，方法很多，这里只是一种方式，但是比较简单省事。