Scrapy settings 并发数更改

• CONCURRENT_REQUESTS
  默认: 16
  Scrapy downloader 并发请求(concurrent requests)的最大值。
• CONCURRENT_REQUESTS_PER_DOMAIN
  默认: 8
  对单个网站进行并发请求的最大值。
• CONCURRENT_REQUESTS_PER_IP
  默认: 0
  对单个IP进行并发请求的最大值。如果非0，则忽略 CONCURRENT_REQUESTS_PER_DOMAIN 设定， 使用该设定。 也就是说，并发限制将针对IP，而不是网站。
  该设定也影响 DOWNLOAD_DELAY: 如果 CONCURRENT_REQUESTS_PER_IP 非0，下载延迟应用在IP而不是网站上。