zoukankan      html  css  js  c++  java
  • 搭建免费代理池

    搭建免费代理池

    https://github.com/jhao104/proxy_pool

    # 收费的:提供给你一个接口,每调一次这个接口,获得一个代理
    # 免费:用爬虫爬取,免费代理,放到我的库中,flask,django搭一个服务(删除代理,自动测试代理可用性),每次发一个请求,获取一个代理
    
    # 带你配置
    
    # 1 下载,解压,用pycharm打开
    # 2 安装依赖 pip install -r requirements.txt
    # 3 配置Config/setting.py:
        DB_TYPE = getenv('db_type', 'redis').upper()
        DB_HOST = getenv('db_host', '127.0.0.1')
        DB_PORT = getenv('db_port', 6379)
        DB_PASSWORD = getenv('db_password', '')
    # 4 本地启动redis-server
    
    # 5 可以在cli目录下通过ProxyPool.py
        -python proxyPool.py schedule :调度程序,他会取自动爬取免费代理
        -python proxyPool.py webserver:启动api服务,把flask启动起来

  • 相关阅读:
    docker基础
    paas平台
    django 多数据分库
    s3对象存储
    css
    __construct()和__initialize()
    js function
    phpstorm ftp 使用
    php
    thinkphp 笔记
  • 原文地址:https://www.cnblogs.com/baohanblog/p/12663118.html
Copyright © 2011-2022 走看看