关于爬虫自己一直在看，所以时间太慢，这才第二更，有等不及的小伙伴可以慢慢的品尝了，在看下面的之前，建议先把上一章看一下。以下是关于python的Urllib的基础和高级用法。
1、如何扒下一个网站，用最短的时间
每一个网站都是根据url获取页面信息，页面信息就是通过一段html代码，加js、css。html是骨架，js是肌肉，css是衣服，一下写一个简单的实例：
wolf@ubuntu-python:~/python$ sudo vi demo.py
#!/usr/bin/python
#coding:utf-8
import urllib2 #导入urllib2库
response = urllib2.urlopen("http://www.baidu.com") ＃获取百度url
print response.read() ＃读取url函数
这就是一个简单的爬虫，保存运行一下看看都爬取了什么。
1 wolf@ubuntu-python:~/python$ python demo.py 2 <html> 3 <head> 4 <meta http-equiv="Content-Type" content="text/html; charset=utf-8" /> 5 <META HTTP-EQUIV="Pragma" CONTENT="no-cache"> 6 <META HTTP-EQUIV="Cache-Control" CONTENT="no-cache"> 7 <META HTTP-EQUIV="Expires" CONTENT="0"> 8 <title>百度一下，你就知道</title> 9 </head> 10 <body> 11 <script> 12 (function(d){ 13 function isCkie(){ 14 var isSupport=false; 15 if(typeof(navigator.cookieEnabled)!='undefined'){ 16 isSupport=navigator.cookieEnabled; 17 } 18 return isSupport; 19 } 20 21 //Cookie相关函数 22 var sCkie=new function(){ 23 //过期时间 24 this.expTime=function(millisecond){if(millisecond.length==0){millisecond=0};var exp=new Date();exp.setTime(exp.getTime()+parseInt(millisecond));return exp.toGMTString();}; 25 //创建cookie 26 this.add=function(name,value,expires,path,domain,secure){d.cookie=name+"="+encodeURI(value)+(expires?(';expires='+expires):'')+(path?(';path='+path):'')+(domain?(';domain='+domain):'')+((secure)?';secure':'');}; 27 //删除cookie 28 //this.del=function(name,path,domain){if(getCookie(name)){document.cookie=name+"="+((path)?(";path="+path):'')+((domain)?(";domain="+domain):'')+";expires=Mon,01-Jan-2006 00:00:01 GMT";}}; 29 //获取cookie 30 this.get=function(name){var arg=name+"=";var alen=arg.length;var theCookie=''+d.cookie;var inCookieSite=theCookie.indexOf(arg);if(inCookieSite==-1||name==""){return '';}var begin=inCookieSite+alen;var end=theCookie.indexOf(';',begin);if(end==-1){end=theCookie.length;}return decodeURI(theCookie.substring(begin,end));}; 31 }; 32 var gUrl; 33 if(isCkie()){ 34 var ckie=0; 35 var sid='lpvt_f6461a705844d7177814f8a1aa45aaa5'; 36 var skie=sCkie.get(sid); 37 if (skie!='') 38 { 39 ckie=parseInt(skie); 40 } 41 42 if(ckie<1){ 43 var rand=Math.random(); 44 if(rand<1.8){ 45 gUrl="https://www.baidu.com/index.php?tn=01025065_7_pg"; 46 }else{ 47 gUrl="https://www.baidu.com/"; 48 } 49 sCkie.add(sid,'1',sCkie.expTime(30*60*1000),0,0,0); 50 }else{ 51 gUrl="https://www.baidu.com/"; 52 } 53 }else{ 54 gUrl="https://www.baidu.com/"; 55 } 56 (function(u){if(window.navigate&&typeof navigate=='function')navigate(u);var ua=navigator.userAgent;if(ua.match(/applewebkit/i)){var h = document.createElement('a');h.rel='noreferrer';h.href=u;document.body.appendChild(h);var evt=document.createEvent('MouseEvents');evt.initEvent('click', true,true);h.dispatchEvent(evt);}else{document.write('<meta http-equiv="Refresh" Content="0; Url='+u+'" >');}})(gUrl); 57 })(document); 58 </script> 59 </body> 60 </html> 61 62 wolf@ubuntu-python:~/python$
没错，你没看错，这个就是简单的百度页面源码，是不是很简单。
2、解析上例
先看第一行导入库
import urllib2 #导入urllib2库
urllib2是python的一个获取urls的组件它以urlopen函数的形式提供了一个非常简单的接口，也会根据urls的协议获取能力，提供比较复杂的接口，例如：基础验证、cookies、代理和其它。更多详情。
第二行代码获取url
response = urllib2.urlopen("http://www.baidu.com") ＃获取百度url
调用了urllib2库里的urlopen方法，传入一个url，协议是http协议，也可以换做ftp、file、https等等，只是代表了一种控制协议，urlopen一般接受三个参数，参数如下：
urlopen(url, data, timeout)
第一个参数是url即为URL,第二个参数data是访问URL时要传送的数据，第三个timeout是超时时间。
后边的两个参数data、timeout是可以不传送的，data默认是空的，timeout默认为socket._GLOBAL_DEFAULT_TIMEOUT所以第一个参数是必须要传送的，上面的例子里传送里百度的url，执行urlopen方法之后，返回一个response对象，返回信息便保存在这里。
print response.read() ＃读取url函数
response对象有一个read方法，可以获取页面的内容。
如果不加read直接打印会是什么？答案如下：
wolf@ubuntu-python:~/python$ python demo.py <addinfourl at 139701058454736 whose fp = <socket._fileobject object at 0x7f0eb1e7b7d0>>
直接打印出的是对象的描述，所以一顶要加read方法，否则打印的就不是网页的内容了。
3、构造Requset
其实上面的urlopen参数可以传入一个request请求，它其实就是一个Requset类的实例，构造时需要传入url、Data等等等内容。所以上面的代码也可以这样写。
wolf@ubuntu-python:~/python$ sudo vi demo.py
#!/usr/bin/python
#coding:utf-8
import urllib2
request = urllib2.Request("http://www.baidu.com") #构建一个request对象
response = urllib2.urlopen(request) ＃请求request对象的url
print response.read() ＃读取request对象的url的函数
两者的运行结果是一样的，只是中间多了一个request对象，因为在构建请求时还需要加入好多内容，所以推荐大家这样写。通过构建一个request，服务器响应请求得到应答，这样显得逻辑清晰明确。
4、POST和GET数据传送
上面是最基本的网页抓取，不多对于大多数的动态网页，需要动态的传递参数给它，它做出对应的响应。所以，在访问时，需要传递数据给它。最常见的就是注册登录。
把数据用户名和密码传送到一个url，服务器得到处理之后到响应，后面如何处理，请继续往下看。
数据的传输分为POST和GET两个方式，至于两个方式的区别呢？下面为您揭晓。
最重要的是GET的方式是直接以链接的形式访问，链接
wolf@ubuntu-python:~/python$ sudo vi demo.py #!/usr/bin/python #coding:utf-8 import urllib2 #导入urllib2库 response = urllib2.urlopen("http://www.baidu.com") ＃获取百度url print response.read() ＃读取url函数