Python中的urllib2模块解析

Name

urllib2 - An extensible library for opening URLs using a variety of protocols

 

1. Description

The simplest way to use this module is to call the urlopen function,which accepts a string containing a URL or a Request object . It opens the URL and returns the results as file-like object.

2. Classes

    exceptions.IOError(exceptions.EnvironmentError)

        URLError

            HTTPError(URLError, urllib.addinfourl)

    AbstractBasicAuthHandler

        HTTPBasicAuthHandler(AbstractBasicAuthHandler, BaseHandler)

        ProxyBasicAuthHandler(AbstractBasicAuthHandler, BaseHandler)

    AbstractDigestAuthHandler

    BaseHandler

        AbstractHTTPHandler

            HTTPHandler

            HTTPSHandler

        FTPHandler

            CacheFTPHandler

        FileHandler

        HTTPCookieProcessor

        HTTPDefaultErrorHandler

        HTTPDigestAuthHandler(BaseHandler, AbstractDigestAuthHandler)

        HTTPErrorProcessor

        HTTPRedirectHandler

        ProxyDigestAuthHandler(BaseHandler, AbstractDigestAuthHandler)

        ProxyHandler

        UnknownHandler

    HTTPPasswordMgr

        HTTPPasswordMgrWithDefaultRealm

    OpenerDirector

    Request

3. 两种访问网页模式：

模式1

　　导入模块
　　import urllib2
　　发送请求
　　request = urllib2.Request(url, data=None, headers={}, origin_req_host=None, unverifiable=False)
　　打开request对象，返回服务器相应对象
　　response = urllib2.urlopen(request)
　　输出网页代码内容
　　print response.read()
　　通过构建一个request对象，服务器响应请求得到应答，这样显得逻辑上清晰明确。

模式2

　　导入模块
　　import urllib2
　　打开url对象，返回服务器相应对象
　　response = urllib2.urlopen(url, data=None, timeout=<object object>, cafile=None, capath=None, cadefault=False, context=None)
　　输出网页代码内容
　　print response.read()

4. 设置Headers

很多服务器或代理服务器会查看HTTP头，进而控制网络流量，实现负载均衡，限制不正常用户的访问。所以我们要学会设置HTTP头，来保证一些访问的实现。
代码如下：
　　import urllib 
　　import urllib2 
　　url = 'http://www.server.com/login'
　　user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)' 
　　values = {'username' : 'cqc', 'password' : 'XXXX' } 
　　headers = { 'User-Agent' : user_agent } 
　　data = urllib.urlencode(values) 
　　request = urllib2.Request(url, data, headers) 
　　response = urllib2.urlopen(request) 
　　page = response.read()

这样，我们设置了一个headers，在构建request时传入，在请求时，就加入了

headers传送，服务器若识别了是浏览器发来的请求，就会得到响应。

常见的User Agent

1.Android

Mozilla/5.0 (Linux; Android 4.1.1; Nexus 7 Build/JRO03D) AppleWebKit/535.19 (KHTML, like Gecko) Chrome/18.0.1025.166 Safari/535.19
Mozilla/5.0 (Linux; U; Android 4.0.4; en-gb; GT-I9300 Build/IMM76D) AppleWebKit/534.30 (KHTML, like Gecko) Version/4.0 Mobile Safari/534.30
Mozilla/5.0 (Linux; U; Android 2.2; en-gb; GT-P1000 Build/FROYO) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1

2.Firefox

Mozilla/5.0 (Windows NT 6.2; WOW64; rv:21.0) Gecko/20100101 Firefox/21.0
Mozilla/5.0 (Android; Mobile; rv:14.0) Gecko/14.0 Firefox/14.0

3.Google Chrome

Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.94 Safari/537.36
Mozilla/5.0 (Linux; Android 4.0.4; Galaxy Nexus Build/IMM76B) AppleWebKit/535.19 (KHTML, like Gecko) Chrome/18.0.1025.133 Mobile Safari/535.19

5. 设置代理服务器

控制代理服务器，防止服务器限制IP。每隔一段时间换一个代理服务器。代理服务器的ip你可以从网页中自己选择和定期更换，控制代理服务器，每隔一段时间换一个代理服务器。代理服务器URL：http://www.xicidaili.com/
代码如下：
　　import urllib2
　　enable_proxy = True
　　proxy_handler = urllib2.ProxyHandler({"http":"61.135.217.7:80"})
　　null_proxy_handler = urllib2.ProxyHandler({})
　　if enable_proxy:
　　　　opener = urllib2.build_opener(proxy_handler)
　　else:
　　　　opener = urllib2.build_opener(null_proxy_handler)
　　　　urllib2.install_opener(opener)

6. 超时设置

urlopen方法第三个参数就是timeout的设置，可以设置等待多久超时，为了解决一些网站实在响应过慢而造成的影响。
　　import urllib2
　　response = urllib2.urlopen('http://www.baidu.com', timeout=10)