zoukankan      html  css  js  c++  java
  • 如何快速使用IP代理池?

    1.使用自己搭好的代理池或者别人搭建好的代理池,一般都是网页api的形式。
    【建议多去Github逛逛,有你意想不到的收获,也能提高英语和参与一点项目的改进】

    (1)第一步当然是你的api地址了。
    例如:

     self.PROXY_POOL_URL = 'http://localhost:5000/get' 
    

    在这里插入图片描述
    (2)向代理池的api发送请求获取返回的IP【一般以字符串返回】

     def get_proxy(self):#代理池 并未启用
            try:
                response = requests.get(self.PROXY_POOL_URL)
                if response.status_code == 200:
                    return {
                        'http':response.text,
                        'https':response.text
                    }
                #proxies=Movie.get_proxy(self)
            except ConnectionError:
                return None

    在这里插入图片描述
    (3)获取到之后,注意requests接受的代理的格式是字典格式

    2.此外,可以从网上由IP代理的网站边抓取边使用,或者抓取了之后放到数据库或者一个网页的api上方便使用

  • 相关阅读:
    容器之队列的使用
    容器之栈的使用
    rapidxml的使用
    C++判断文件夹是否存在并创建文件夹
    VS2017,不能将const char *转为char *
    CSS_day01_选择器
    HTML_day02_列表
    HTML_day01基本标签
    python_day3
    python_day2
  • 原文地址:https://www.cnblogs.com/chenruhai/p/12464218.html
Copyright © 2011-2022 走看看