urllib库的基础知识

一、库

import urllib.request

---

二、打开网页

通过urlopen()的方法，实现网页的打开。必须加“http://”

import urllib.request
response=urllib.request.urlopen('http://www.baidu.com')

2.1urlopen方法说明

urlopen(url,data,timeout)	url	网址（必传参数）
	data	默认为空，用于传递POST或GET的数据
	timeout	可以设置等待多久超时，为了解决一些网站实在响应过慢而造成的影响。 该参数属于隐式过期时间，如果响应提前，则时间提前结束

---

三、传递带header请求头的url

import urllib.request
url = 'http://www.budejie.com'#目标访问地址
user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'#网页请求头
headers = {'User-Agent' : user_agent }#将请求头组合成键值对形式
req=urllib.request.Request(url,headers=header)#通过Request方法给url加访问头
response=urllib.request.urlopen(req)#打开带请求头的url

3.1请求头说明

Header	解释	示例
Accept	指定客户端能够接收的内容类型	Accept: text/plain, text/html
Accept-Charset	浏览器可以接受的字符编码集。	Accept-Charset: iso-8859-5
Accept-Encoding	指定浏览器可以支持的web服务器返回内容压缩编码类型。	Accept-Encoding: compress, gzip
Accept-Language	浏览器可接受的语言	Accept-Language: en,zh
Accept-Ranges	可以请求网页实体的一个或者多个子范围字段	Accept-Ranges: bytes
Authorization	HTTP授权的授权证书	Authorization: Basic QWxhZGRpbjpvcGVuIHNlc2FtZQ==
Cache-Control	指定请求和响应遵循的缓存机制	Cache-Control: no-cache
Connection	表示是否需要持久连接。（HTTP 1.1默认进行持久连接）	Connection: close
Cookie	HTTP请求发送时，会把保存在该请求域名下的所有cookie值一起发送给web服务器。	Cookie: $Version=1; Skin=new;
Content-Length	请求的内容长度	Content-Length: 348
Content-Type	请求的与实体对应的MIME信息	Content-Type: application/x-www-form-urlencoded
Date	请求发送的日期和时间	Date: Tue, 15 Nov 2010 08:12:31 GMT
Expect	请求的特定的服务器行为	Expect: 100-continue
From	发出请求的用户的Email	From: user@email.com
Host	指定请求的服务器的域名和端口号	Host: www.zcmhi.com
If-Match	只有请求内容与实体相匹配才有效	If-Match: “737060cd8c284d8af7ad3082f209582d”
If-Modified-Since	如果请求的部分在指定时间之后被修改则请求成功，未被修改则返回304代码	If-Modified-Since: Sat, 29 Oct 2010 19:43:31 GMT
If-None-Match	如果内容未改变返回304代码，参数为服务器先前发送的Etag，与服务器回应的Etag比较判断是否改变	If-None-Match: “737060cd8c284d8af7ad3082f209582d”
If-Range	如果实体未改变，服务器发送客户端丢失的部分，否则发送整个实体。参数也为Etag	If-Range: “737060cd8c284d8af7ad3082f209582d”
If-Unmodified-Since	只在实体在指定时间之后未被修改才请求成功	If-Unmodified-Since: Sat, 29 Oct 2010 19:43:31 GMT
Max-Forwards	限制信息通过代理和网关传送的时间	Max-Forwards: 10
Pragma	用来包含实现特定的指令	Pragma: no-cache
Proxy-Authorization	连接到代理的授权证书	Proxy-Authorization: Basic QWxhZGRpbjpvcGVuIHNlc2FtZQ==
Range	只请求实体的一部分，指定范围	Range: bytes=500-999
Referer	先前网页的地址，当前请求网页紧随其后,即来路	Referer: http://www.zcmhi.com/archives/71.html
TE	客户端愿意接受的传输编码，并通知服务器接受接受尾加头信息	TE: trailers,deflate;q=0.5
Upgrade	向服务器指定某种传输协议以便服务器进行转换（如果支持）	Upgrade: HTTP/2.0, SHTTP/1.3, IRC/6.9, RTA/x11
User-Agent	User-Agent的内容包含发出请求的用户信息	User-Agent: Mozilla/5.0 (Linux; X11)
Via	通知中间网关或代理服务器地址，通信协议	Via: 1.0 fred, 1.1 nowhere.com (Apache/1.1)
Warning	关于消息实体的警告信息	Warn: 199 Miscellaneous warning

---

四、Proxy代理

4.1配置流程

import urllib.request as re
url='http://www.baidu.com'
proxy={'http':'192.168.1.1:8080'}#代理地址
proxy_handler=re.ProxyHandler(proxy)#将代理地址传入处理器
proxy_opener=re.build_opener(proxy_handler)#建立构造器
proxy_opener.addheaders=[('user-agent','Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)')]#传入请求头
re.install_opener(proxy_opener)#安装构造器
response=re.urlopen(url)#打开网页

---

五、DebugLog调试模式

import urllib.request as re
url='http://www.baidu.com'
debug_start=re.HTTPHandler(debuglevel=1)#开启调试模式
debug_end=re.HTTPHandler(debuglevel=0)#关闭调试模式
opener=re.build_opener(debug_start,debug_end)#执行构造器
re.install_opener(opener)#安装构造器
response=re.urlopen(url)

---

 

六、URLError异常处理

使用try...except...来处理异常情况，一般的异常情况分两种：URLError和HTTPError

import urllib.request as re
url='http://www.baidu.com'
res=re.Request(url)
try:
    re.urlopen(res)
except re.HTTPError as e:
    print(e.code)#返回异常状态值
except re.URLError as e:
    print(e.reason)#返回错误结果
else:
    print('ALl Right')

6.1状态码

根据响应结果的类型，大致分为以下几类：

1XX（信息类）：该类型状态码表示接收到请求并且继续处理。

• 100，客户端必须继续发出请求。
• 101，客户端要求服务器根据请求转换HTTP协议版本。

2XX（响应成功）：该类型状态码表示动作被成功接收、理解和接受。

• 200，表明该请求被成功地完成，所请求的资源发送到客户端。
• 201，提示知道新文件的URL。
• 202，接受并处理，但处理未完成。
• 203，返回信息不确定或不完整。
• 204，收到请求，但返回信息为空。
• 205，服务器完成了请求，用户必须复位当前已经浏览过的文件。
• 206，服务器已经完成了部分用户的GET请求。

3XX（重定向类）：该类型状态码表示为了完成指定的动作，必须接受进一步处理。

• 300，请求的资源可在多处获得。
• 301，本网页被永久性转移到另一个URL。
• 302，请求的网页被重定向到新的地址。
• 303，建议用户访问其他URL或访问方式。
• 304，自从上次请求后，请求的网页未修改过。
• 305，请求的资源必须从服务器指定的地址获得。
• 306，前一版本HTTP中使用的代码，现已不再使用。
• 307，声明请求的资源临时性删除。

XX（客户端错误类）：该类型状态码表示请求包含错误语法或不能正确执行。

• 400，客户端请求有语法错误。
• 401，请求未经授权。
• 402，保留有效ChargeTo头响应。
• 403，禁止访问，服务器收到请求，但拒绝提供服务。
• 404，可连接服务器，但服务器无法取得所请求的网页，请求资源不存在。
• 405，用户在Request-Line字段定义的方法不被允许。
• 406，根据用户发送的Accept，请求资源不可访问。
• 407，类似401，用户必须首先在代理服务器上取得授权。
• 408，客户端没有在用户指定的时间内完成请求。
• 409，对当前资源状态，请求不能完成。
• 410，服务器上不再有此资源。
• 411，服务器拒绝用户定义的Content-Length属性请求。
• 412，一个或多个请求头字段在当前请求中错误。
• 413，请求的资源大于服务器允许的大小。
• 414，请求的资源URL长于服务器允许的长度。
• 415，请求资源不支持请求项目格式。
• 416，请求中包含Range请求头字段，在当前请求资源范围内没有range指示值。
• 417，服务器不满足请求Expect头字段指定的期望值。

5XX（服务器错误类）：该类型状态码表示服务器或网关错误。

• 500，服务器错误。
• 501，服务器不支持请求的功能。
• 502，网关错误。
• 503，无法获得服务。
• 504，网关超时。
• 505，不支持的http版本。

---

七、Cookie

7.1引入

import http.cookiejar

7.2创建流程

import urllib.request as re
import http.cookiejar
url="www.baidu.com"
c=http.cookiejar.CookieJar()#创建cookie实例
handler=re.HTTPCookieProcessor(c)#创建cookie进程
opener=re.build_opener(handler)#创建构造器
re.install_opener(opener)#安装构造器
response=re.urlopen(url)#打开网页