分布式爬虫
scrapy_redis使用
dupefilter去重:
request_fingerpint() 请求指纹
使用haslib.sha1 对 request.method, request.url, request.headers, request.body 进行加密
40个字符的16进制字符串, 缺点太占内存
优化 :
将scrapy_redis中默认去重的dupefilter改为:
使用BloomFilter 去重, 内存小 ,比较快
1.在项目中使用以下设置:
＃启用redis中的存储请求队列调度。
SCHEDULER = “ scrapy_redis.scheduler.Scheduler ”
＃确保所有蜘蛛通过redis共享相同的重复过滤器。
DUPEFILTER_CLASS = “ scrapy_redis.dupefilter.RFPDupeFilter ”
＃将请求的数据存储在redis中进行后期处理。
ITEM_PIPELINES = {
' scrapy_redis.pipelines.RedisPipeline '： 300
}
指定连接Redis时使用的主机和端口（可选）。
REDIS_HOST = 'localhost'
REDIS_PORT = 6379
具体用法参考链接 : https://github.com/rmax/scrapy-redis
2.使用
import scrapy
from scrapy_redis.spiders import RedisSpider # 使用RedisSpider
from reading_network.items import ReadingNetworkItem
# 在basc模板的spider基础上作修改:
class GuoxueSpider(RedisSpider): # 改为继承RedisSpider
name = 'guoxue'
redis_key = 'start_urls' # 设置存放开始爬取地址的key key为start_urls, value为起始url
注意: 运行命令与之前不同, 命令:
cd spiders目录
scrapy runspider guoxue.py(爬虫文件)
3.数据持久化,存入mysql
import pymysql
from redis import Redis
import json
# 从redis中取出数据,然后储存到mysql
conn = pymysql.connect(host='127.0.0.1', port=3306, user='root', password='450502',
charset='utf8', database='spider1')
cursor = conn.cursor()
redis_conn = Redis()
def insert_mysql():
while 1:
# 从redis中取数据
# print(redis_conn.brpop('guoxue:items', timeout=60)) # 取不到时会有60s的延时,超时后报错, (b'guoxue:items', b'{'name' : 'xxx'}')
try:
_, data = redis_conn.brpop('guoxue:items', timeout=60)
except:
cursor.close()
conn.close()
break
# 转化为python对象
data = json.loads(data, encoding='utf-8')
keys = ', '.join(data.keys())
values = ', '.join(['%s'] * len(data)) # '%s, %s, %s'
sql = f'insert into guoxue({keys}) values({values})'
try:
cursor.execute(sql, tuple(data.values())) # 传一个元组 替换 其中%s
conn.commit()
except Exception as e:
print(e)
conn.rollback()
if __name__ == '__main__':
insert_mysql()
使用分布式
1.修改配置
-
window下需修改redis配置文件redis.windows.conf, 重启redis
bind 127.0.0.1 改为 0.0.0.0
protected-mode no # 关闭保护模式
requirepass 123456 # 其他服务器远程访问需要带上密码
-
linux下redis修改配置文件redis.windows.conf, 重启redis
bind 0.0.0.0
requirepass 123456
其他服务器连接本机redis: redis-cli -h 本机ip
访问需输入密码: auth 123456
-
-
settings中需将共享redis数据库的服务器地址改为:
REDIS_URL = 'redis://:123456@本机ip:6379' # 不是本地ip127.0.0.1
2.使用
和上面基本一样,只是使用crawlspider; 继承类改为 RedisCrawlSpider
import scrapy
from scrapy_redis.spiders import RedisCrawlSpider # 使用RedisCrawlSpider
from reading_network.items import ReadingNetworkItem
# 在crawl模板的spider基础上作修改:
class GuoxueSpider(RedisCrawlSpider): # 改为继承RedisCrawlSpider
name = 'guoxue'
redis_key = 'start_urls' # 设置存放开始爬取地址的key key为start_urls, value为起始url