zoukankan      html  css  js  c++  java
  • 一个urllib2构建的html下载器的代理组件的实现方案

    调用栈/函数链如下:

    情形一:下载器初始化时

    __init__
        buildOpener#构建opener
            newProxy4Opener#装备代理
                getNewProxy#获取代理
                    maintainProxyPool#维护代理池
                        replenishProxies#补充代理
                            getProxiesFromLib#通过web服务获取指定数量的新代理
    

    情形二:下载时

    safeDownload#失败时自动尝试
        download#下载
            chgProxy#检测是否需要更换代理
                #满足随机条件,尝试装备新代理
                newProxy4Opener
                    getNewProxy
                        maintainProxyPool
                            replenishProxies
                                getProxiesFromLib
                #目前代理失效,尝试装备新代理
                dropAndChangeProxy
                    newProxy4Opener
                        getNewProxy
                            maintainProxyPool
                                replenishProxies
                                    getProxiesFromLib
    
    本文原创发表于http://www.cnblogs.com/qijj,转载请保留此声明。
  • 相关阅读:
    多窗体
    滚动条
    个人信息调查
    登录页面
    蓝桥杯——放麦子
    java的BigDecimal
    蓝桥杯——判定字符的位置。
    输出日历
    蓝桥杯---简单的计算器
    蓝桥杯--Quadratic Equation
  • 原文地址:https://www.cnblogs.com/qijj/p/6232138.html
Copyright © 2011-2022 走看看