代理IP之蘑菇隧道转发代理

简介

      在爬取网页时，一般都会用到代理IP。蘑菇代理网站：http://www.moguproxy.com/  蘑菇代理的代理IP有两种：API私密代理和隧道转发代理，这篇文章主要介绍隧道转发代理 。

      在官网购买隧道转发代理后，就可以到订单页面查看购买订单的Appkey。如果是第一次使用，那么需要添加白名单。

        可以去官网查看隧道转发代理的接入文档（Python3）。下面的代码是经过修改后的接入文档。只需要在接入文档中添加有效的Appkey，就可以使用代理IP访问网站。

def use_agency(url,appKey):
    import requests

    # 蘑菇隧道代理服务器地址
    ip_port = 'secondtransfer.moguproxy.com:9001'

    proxy = {"http": "http://" + ip_port,"https": "https://" + ip_port}
    headers = {
      "Proxy-Authorization": 'Basic '+ appKey,
      "User-Agent":"Mozilla/5.0 (Windows NT 6.1; WOW64; rv:6.0) Gecko/20100101 Firefox/6.0",
      "Accept-Language": "zh-CN,zh;q=0.8,en-US;q=0.6,en;q=0.4"}
    r = requests.get(url, headers=headers, proxies=proxy,verify=False,allow_redirects=False)
    print(r.content.decode('utf-8'))

    if r.status_code == 302 or r.status_code == 301 :
        loc = r.headers['Location']
        print(loc)
        url_f = loc
        r = requests.get(url_f, headers=headers, proxies=proxy, verify=False, allow_redirects=False)
        print(r.content.decode('utf-8'))

if __name__ == '__main__':
    # url是需要使用代理IP访问的网站
    url = '***'
    # 在官网购买隧道转发代理后，就可以到订单页面查看购买订单的Appkey
    appKey = "***"
    use_agency(url,appKey)