速记创建简单分布式爬虫

创建分布式爬虫

先创建普通爬虫

然后根据前者改造

1.1

限速可以参考我这篇博文

1.2

1.3

 注意：lpush的spidername要和redis_key一致，不然spider接受不到起始URL