在Scrapy中使用IP池或用户代理（python3）

一、创建Scrapy工程

scrapy startproject 工程名

二、进入工程目录，根据爬虫模板生成爬虫文件

scrapy genspider -l # 查看可用模板
scrapy genspider -t 模板名 爬虫文件名 允许的域名

三、定义爬取关注的数据（items.py文件）

四、编写爬虫文件

五、设置IP池或用户代理
（1）设置IP池
步骤1：在settings.py文件中添加代理服务器的IP信息，如：

# 设置IP池
IPPOOL = [
　　{"ipaddr": "221.230.72.165:80"},
　　{"ipaddr": "175.154.50.162:8118"},
　　{"ipaddr": "111.155.116.212:8123"}
]

步骤2：创建下载中间文件middlewares.py（与settings.py同一个目录），如：

#创建方法，cmd命令行，如项目为modetest，

E:workspacePyCharmcodeSpacemodetestmodetest>echo #middlewares.py

# -*- coding: utf-8 -*-
# 导入随机模块
import random
# 导入settings文件中的IPPOOL
from .settings import IPPOOL
# 导入官方文档对应的HttpProxyMiddleware
from scrapy.contrib.downloadermiddleware.httpproxy import HttpProxyMiddleware

class IPPOOlS(HttpProxyMiddleware):
　　# 初始化
　　def __init__(self, ip=''):
　　self.ip = ip

　　# 请求处理
　　def process_request(self, request, spider):
　　# 先随机选择一个IP
　　thisip = random.choice(IPPOOL)
　　print("当前使用IP是："+ thisip["ipaddr"])
　　request.meta["proxy"] = "http://"+thisip["ipaddr"]

步骤3：在settings.py中配置下载中间件

# 配置下载中间件的连接信息
DOWNLOADER_MIDDLEWARES = {
　　'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware':123,
　　'modetest.middlewares.IPPOOlS' : 125    
}

（2）设置用户代理
步骤1：在settings.py文件中添加用户代理池的信息（配置几个浏览器'User-Agent'），如：

# 设置用户代理池
UPPOOL = [
　　"Mozilla/5.0 (Windows NT 10.0; WOW64; rv:52.0) Gecko/20100101 Firefox/52.0", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safari/537.36", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.79 Safari/537.36 Edge/14.14393"
]

步骤2：创建下载中间文件uamid.py（与settings.py同一个目录），如：

#创建方法，cmd命令行，如项目为modetest，

E:workspacePyCharmcodeSpacemodetestmodetest>echo #uamind.py

# -*- coding: utf-8 -*-#
# 导入随机模块
import random
# 导入settings文件中的UPPOOL
from .settings import UPPOOL
# 导入官方文档对应的HttpProxyMiddleware
from scrapy.contrib.downloadermiddleware.useragent import UserAgentMiddleware

class Uamid(UserAgentMiddleware):
　　# 初始化 注意一定要user_agent，不然容易报错   
　　def __init__(self, user_agent=''):
　　self.user_agent = user_agent

　　# 请求处理
　　def process_request(self, request, spider):
　　　　# 先随机选择一个用户代理
　　　　thisua = random.choice(UPPOOL)
　　　　print("当前使用User-Agent是："+thisua)
　　　　request.headers.setdefault('User-Agent',thisua)

步骤3：在settings.py中配置下载中间件

# 配置下载中间件的连接信息
DOWNLOADER_MIDDLEWARES = {
　　'scrapy.contrib.downloadermiddleware.useragent.UserAgentMiddleware': 2,
4　　 'modetest.uamid.Uamid': 1    
}

总而言之，有时候避免不了配置这类信息，所以直接在settings中都一起配置了如下，直接粘贴到settings.py文件的最后面

#========================================

# 设置IP池和用户代理

#  禁止本地Cookie
COOKIES_ENABLED = False

# 设置IP池
IPPOOL = [
    {"ipaddr": "221.230.72.165:80"},
    {"ipaddr": "175.154.50.162:8118"},
    {"ipaddr": "111.155.116.212:8123"}
]

# 设置用户代理池
UPPOOL = [
    "Mozilla/5.0 (Windows NT 10.0; WOW64; rv:52.0) Gecko/20100101 Firefox/52.0", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safari/537.36", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.79 Safari/537.36 Edge/14.14393"
]

# 配置下载中间件的连接信息
DOWNLOADER_MIDDLEWARES = {
    #'scrapy.contrib.downloadermiddlewares.httpproxy.HttpProxyMiddleware':123,
    #'modetest.middlewares.IPPOOlS' : 125,
    'scrapy.contrib.downloadermiddleware.useragent.UserAgentMiddleware': 2,
    'modetest.uamid.Uamid': 1
}

#============================================