爬虫之代理池搭建

1、使用第三方(git clone下来)

# github，下载免费代理池开源代码（建议读一下别人的代码）
# https://github.com/jhao104/proxy_pool

2、运行起git clone的代理项目，安装必要依赖

# 项目根目录（pycharm终端）
# pip3 install -r requirements.txt

3、配置文件配置

# 数据库选择用redis，本文redis没设置密码，所以去掉密码
DB_CONN = 'redis://127.0.0.1:6379/0'

4、启动服务（读readme）

# 启动调度程序
python proxyPool.py schedule

# 启动webApi服务
python proxyPool.py server

5、再起一个脚本测试代理

import requests
import json

res = requests.get('http://127.0.0.1:5010/get/')
dic = json.loads(res.text)
proxy = dic.get('proxy')
print(proxy)
proxies = {"http": "http://%s" % proxy}

respone = requests.get('https://www.baidu.com',
                       proxies=proxies)

print(respone.text)