zoukankan      html  css  js  c++  java
  • 使用 requests 配置代理服务

    (1) 如果我们一直用同一个IP去请求同一个网站上的网页,久了之后可能会被该网站服务器屏蔽,因此我们可以使用代理IP来发起请求,代理实际上指的就是代理服务器
    (2) 当我们使用代理IP发起请求时,服务器端显示的是代理IP的地址,即使被屏蔽了,我们可以换一个代理IP继续爬取,代理IP获取页面:https://www.xicidaili.com/

    这里我在本地搭建了一个代理,它运行在 8888 端口,我们使用这个代理来请求服务器:

    import requests
    
    proxies = {
        "http": "127.0.0.1:8888",
        "https": "127.0.0.1:8888"
    }
    
    req = requests.get("https://www.baidu.com/", proxies=proxies)
    print(req.status_code)

        

  • 相关阅读:
    标准输入输出流
    打印流
    数据输入输出流
    对象操作流
    随机流
    内存输出流
    序列流
    转换流示例代码
    字符流的示例代码
    字符流
  • 原文地址:https://www.cnblogs.com/pzk7788/p/10531229.html
Copyright © 2011-2022 走看看