Python的urllib和urllib2模块都做与请求URL相关的操作，但他们提供不同的功能。他们两个最显着的差异如下：
- urllib2可以接受一个Request对象，并以此可以来设置一个URL的headers，但是urllib只接收一个URL。这意味着，你不能伪装你的用户代理字符串等。
- urllib模块可以提供进行urlencode的方法，该方法用于GET查询字符串的生成，urllib2的不具有这样的功能。这就是urllib与urllib2经常在一起使用的原因。
urllib
1、urllib.urlopen(url, data=None, proxies=None, context=None)方法
打开一个url的方法，返回一个对象，可以类似文件对象的操作来读取数据
import urllib f = urllib.urlopen("https://www.cnblogs.com/") print f.readline() #<!DOCTYPE html>
urlopen返回对象提供方法：
- read() , readline() ,readlines() , fileno() , close() ：这些方法的使用方式与文件对象完全一样
- info()：返回一个httplib.HTTPMessage对象，表示远程服务器返回的头信息
- getcode()：返回Http状态码。如果是http请求，200请求成功完成;404网址未找到
- geturl()：返回请求的url
2、urllib.urlretrieve(url, filename=None, reporthook=None, data=None, context=None)方法
urlretrieve方法将url定位到的html文件下载到你本地的硬盘中。如果不指定filename，则会存为临时文件。
urlretrieve()返回一个二元组(filename,httplib.HTTPMessage)
f = urllib.urlretrieve("https://www.cnblogs.com/") print f
('d:\temp\tmp7_mted', <httplib.HTTPMessage instance at 0x01B8F030>)
第一个元素是保存的文件路径，第二个元素是httplib.HTTPMessage对象，跟urlopen.info()方法一样，保存的是远端服务器返回的头信息。
指定保存的文件
f = urllib.urlretrieve("https://www.cnblogs.com/", filename='cnblog.html') print f
('cnblog.html', <httplib.HTTPMessage instance at 0x01D8B030>)
3、urllib.urlcleanup()
清除由于urllib.urlretrieve()所产生的缓存
4、urllib.quote(str)
对或取的数据进行编码，从而符合URI协议，使其能被web服务器接受。
f1 = urllib.quote("https://www.cnblogs.com/", safe='/') print f1 #https%3A//www.cnblogs.com/
safe可以指定不需要编码的字符，可以以字符串的形式设置，例：safe=‘：/’，这样将不会对：/进行编码，默认不对 / 编码
5、urllib.quote_plus(str)
此函数是对请求中的url拼接的参数中的空格替换为+，这个我们很常见到，提交带空格的参数时，将看到空格都变成了+
f2 = urllib.quote_plus(' ', safe='/') print f2 +
也看到有safe吧，学习了quote，可能会想到这个也是个安全字符设定，对设定的字符不做编码？？
是的，quote_plus这个其实实在quote上做了拓展，查看源码就知道了
def quote_plus(s, safe=''): """Quote the query fragment of a URL; replacing ' ' with '+'""" if ' ' in s: s = quote(s, safe + ' ') return s.replace(' ', '+') return quote(s, safe)
其实调用了quote()方法，safe这个是给quote用的，默认是不对空格做编码的。
有编码，那就肯定有解码了，解码方法对应的是：urllib.unquote(str)、urllib.unquote_plus(str)
6、urllib.urlencode()
将URL中的键值对以连接符&划分,并把空格编码为+
查询参数
data = {'name': 'aa bb', 'lover':'ccc'}
params = urllib.urlencode(data)
print params
#name=aa+bb&lover=ccc
f = urllib.urlopen('https://www.cnblogs.com?{}'.format(params))
urlencode方法会调用quote_plus,把空格编码为+
请求体中参数
data = {'name': 'aa bb', 'lover':'ccc'}
params = urllib.urlencode(data)
print params
#name=aa+bb&lover=ccc
f = urllib.urlopen('https://www.cnblogs.com/', date=params)
urllib2
1、urllib2.urlopen(url, data=None, timeout=socket._GLOBAL_DEFAULT_TIMEOUT,cafile=None, capath=None, cadefault=False, context=None)
跟urllib差不多，也是返回一个对象，次对象操作方式跟文件对象类似
f2 = urllib2.urlopen("https://www.cnblogs.com/") html = f2.read() print html
2、urllib2.Request(url, data=None, headers={},origin_req_host=None, unverifiable=False)
urllib2可以创建个request对象，构造一个完成的request对象，数据、请求头信息等都可以做设定
data = {'name': 'aa bb', 'lover':'ccc'}
params = urllib.urlencode(data)
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; … Gecko/20100101 Firefox/54.0'}
req = urllib2.Request("https://www.cnblogs.com/",data=params, headers=headers)
req.add_data(urllib.urlencode({'age': 100, 'like': 'h'}))#重新设定提交的参数，会覆盖之前设定的
req.add_header('Host', '127.0.0.1')#添加请求头信息
print req.headers
print req.data
response = urllib2.urlopen(req)
print response.readline()