zoukankan      html  css  js  c++  java
  • urllib -- ProxyHandler处理器(代理设置)

    import  urllib.request
    import random
    import ssl

    proxy_list = [
    {"https" : "196.61.27.58:53281"},
    {"http" : "121.232.144.81:9000"}
    ]

    # 随机选择一个代理
    proxy = random.choice(proxy_list)

    # 构建两个代理Handler,一个有 代理ip,一个没有代理ip
    httpproxy_handler = urllib.request.ProxyHandler(proxy)
    nullproxy_handler = urllib.request.ProxyHandler()

    # 使用私密代理
    # httpproxy_handler = urllib2.ProxyHandler({'http':"用户名:密码@2175.9.179.50:80"})

    # 定义一个代理开关
    proxySwitch = True

    # 通过urllib.request.build_opener()方法使用代理对象Handler,并创建opener对象
    # 根据代理开关是否打开,使用不同的代理模式
    if proxySwitch:
    opener = urllib.request.build_opener(httpproxy_handler)
    else:
    opener = urllib.request.build_opener(nullproxy_handler)

    request = urllib.request.Request("http://www.baidu.com/")

    # 1. 如果这么写,只有使用opener.open()方法发送请求才使用自定义的代理,而urlopen()则不使用自定义代理。
    # response = opener.open(request)

    # 2. 构建全局的opener,之后的所有请求都可以用urlopen()方法去发送,都将使用自定义代理。
    urllib.request.install_opener(opener)
    response = urllib.request.urlopen(request,context=ssl._create_unverified_context())

    print(response.read().decode('utf-8'))

    """
    urllib.error.URLError: <urlopen error [WinError 10060] 由于连接方在一段时间后没有正确答复或连接的主机没有反应,连接尝试失败。>
    HTTPS 请求验证SSL证书,就像web浏览器一样,如果网站的SSL证书是经过CA认证的,则能够正常访问
    导入Python SSL处理模块
    import ssl
    2. 表示忽略未经核实的SSL证书认证
    context = ssl._create_unverified_context()

    urlopen()方法里 指明添加 context 参数
    response = urllib.request.urlopen(request, context = context)
    """
  • 相关阅读:
    LoginStatus 如何指向不同的登陆地址以及“invalid FORMATETC”
    不排序和可以重复Key的SortedList。
    一个新样式
    如何给另一个桌面的程序发送消息?
    Html使用自定义光标的一点需要注意的小问题。
    用stream.Read不能完整读取内容的问题。
    全国天气预报代码(转帖)
    Access处理DISTINCT的Bug?
    asp.net和asp运行结果不同?
    学习枚举类型/FlagsAttribute属性
  • 原文地址:https://www.cnblogs.com/AndyChen2015/p/7418504.html
Copyright © 2011-2022 走看看