Handler处理器 和 自定义Opener
-
opener是 urllib2.OpenerDirector 的实例,我们之前一直都在使用的urlopen,它是一个特殊的opener(也就是模块帮我们构建好的)。
-
但是基本的urlopen()方法不支持代理、cookie等其他的HTTP/HTTPS高级功能。所以要支持这些功能:
- 使用相关的
Handler处理器
来创建特定功能的处理器对象; - 然后通过
urllib2.build_opener()
方法使用这些处理器对象,创建自定义opener对象; - 使用自定义的opener对象,调用
open()
方法发送请求。
- 使用相关的
-
如果程序里所有的请求都使用自定义的opener,可以使用
urllib2.install_opener()
将自定义的 opener 对象 定义为 全局opener,表示如果之后凡是调用urlopen,都将使用这个opener(根据自己的需求来选择) - py3是直接用urllib.request.HTTPHandler
-
#_*_ coding: utf-8 _*_ ''' Created on 2018年7月13日 @author: sss 功能:测试自定义http_handler ''' import urllib.request #构建一个HttpHandler处理器对象,支持处理http请求 # http_handler = urllib.request.HTTPHandler() http_handler = urllib.request.HTTPHandler(debuglevel = 1) #打开调试 #构建一个HttpHandler处理器对象,支持处理https请求 # http_handler = urllib.request.HTTPHandler() #调用创建支持处理http请求的opener对象 opener = urllib.request.build_opener(http_handler) #构建好request请求 request = urllib.request.Request('http://www.baidu.com/') #调用自定义opener对象的open()方法,发送request请求 response = opener.open(request) #获取服务器相应内容: print(response.read())