增加并发：
默认scrapy开启的线程数为32个，可以适当进行增加，在seeting配置文件中修改councurrent_requests=100
降低日志等级：
在运行scrapy运行时，会有大量日志输出，为了减少cpu的使用率，可将日志等级设置为log=error或log=info
禁用cookie：
如果不是真的需要使用cookie，可以直接禁用cookie，提升爬取效率。cookie_enabled=false
禁止重试：
对失败的HTTP请求重新请求会减慢爬取速度，可以禁止重试。retry_enabled=false
减少下载超时：
对一个非常慢的链接进行爬取会很卡，减少下载超时，这样的链接会被放弃，提升爬取的效率。download_timeout=10 超时时间10S
关于增量式爬虫：
是指对指定的页面进行数据爬取后，待页面数据更新后，能再次对页面进行爬取，且只会爬取新的数据，已经爬取的数据不会操作。
重点在于不会爬取重复的数据，这就会用到数据指纹了。
通常增量式爬取的内容表现为：
1.爬取主页面链接中详情页面的数据，会对详情页面进行url去重判断。
以redis为例：
URL去重：电影详情信息
向redis中写入一条新数据，其返回值为1，表示新数据可以存储。失败返回值为0，表示已存在相同数据。
直接判断URL是否已存在，以键值对方式插入Redis，返回值若为1，对当前URL手动发送请求抓取数据，反之提示无新数据
文本去重：新闻头条
对文本去重，无法直接判断URL，都在同一个链接下，刷新就会有新数据。
通常会选择文本标题和作者等动态文本拼接字符串，用hash sha256或者其他不可逆加密方式，获取文本唯一标识，
存储到Redis中，如再次添加相同文本，则密文必然重复，返回值必定为0，不予发送请求即可。