urllib.request 发送request和获取request的结果
urllib.error包含了urllib.request产生的异常
urllib.parse用来解析和处理Url
urllib.robotparse用来解析页面的robots.txt文件
urllib.request.urlopen(url,data=None,[timeout,]*,cafile=None,capath=None,cadefault=False,context=None)
url 可以是一个URL的字符串,也可以是一个Request对象
data 传给服务器的数据,支持字节类型(Bytes)、文件格式(file-like objects)和可迭代的对象(iterables),如果头文件中Content-Length 和 Transfer-Encoding 都没有提供,HTTPHandler就会根据data的类型来设置这些参数。 对于post类型的request method ,data应该以标准的application/x-www-form-urlencoded格式提供,urllib.parse.urlencode()方法可将 字典类或2元素的队列类 数据 转换成这种格式的Ascii字符码。入参data在使用前需要先编码成字节类型。
timeout 用于设置连接时长,只对HTTP,HTTPS,FTP类型的连接有效。
context 必须是一个ssl.SSLContext实例
cafile 指向的是单个包含CA 证书的文件
capath 指向的是这个hashed 认证文件的路径
class urllib.request.Request(url,data=None,headers={},origin_req_host=None,unverifiable=False,method=None)
headers 字典类型数据 也可以通过add_header()方法传入单个的key-value参数。 User-Agent ,通常用于标识请求所使用的浏览器(某些HTTP服务器只允许来自常用浏览器的请求);Content-Type,如果data参数被提供,就需要设置这个参数,如果没设置Content-Type,默认值为application/x-www-form-urlencoded
origin_req_host和unverifiable仅用来准确的处理第三方Http cookies:
origin_req_host 用户设置的原始请求的主机名或IP地址,例如果请求的是某html中的一张图片,则原始请求主机名为请求(包含该图片的)html的主机名或地址。
unverifiable 表明这个请求 是否 无法访问
method 表示请求方式的字符串,可通过get_method()获取它的值。在data没有提供的情况下,默认是GET,否则默认是POST。
response:
urlopen()返回的对象urllib.response can work as a context manager,具有方法:
read(),readline() 基本的返回页面文本的方法
geturl() 返回根据根据实际页面定位的url地址,通常用来判断是否有发生重定向。
info() 返回页面的元信息,headers。
getcode() 返回这个response的http状态码
openers:获取URL的方法
通常我们使用默认的opener 的open方法: urllib.request.urlopen ()
如果需要个性化openers,就需要创建一个OpenerDirector实例。可以把不同的handlers传给OpenerDirector实例。
Handlers:Openers的处理器
所有的‘繁重’工作由handlers处理。不同的handlers处理不同事项,如通过特定协议打开URLs,HTTP重定向或获取一个不重定向的opener.
创建urllib.request.OpenerDirector 实例 可通过 urllib.request.build_opener([handler,...]) 一步创建
或 a=OpenerDirector(),a.add_handler(some_handler_instance) 两步来创建,入参handlers必须是BaseHandler或其子类的实例。
安装opener , install_opener(opener)安装完后,会使这个opener作为全局的opener,urlopen()方法会按照这个自定义的opener来打开url。如果不希望urlopen()也使用这个方法的话,就不需要安装这个opener,直接使用OpenerDirector.open()来打开url, opener 的open()方法与urlopen()方法具有相同的功能。
class urllib.request.ProxyHandler(proxies=None)
使request请求通过这个代理,proxies是字典类型数据 {协议名:这个代理的URL},如果没有指定proxies,就会默认读取环境变量<protocol>_proxy中的proxies.如果没有设置代理的环境变量,windows系统下会从注册表内部的设置部分获取。为防止这种自动定位的proxies,可以传递一个空字典。
示例:代理方式的验证请求
proxy_handler = urllib.request.ProxyHandler({'http': 'http://www.example.com:3128/'})
proxy_auth_handler = urllib.request.ProxyBasicAuthHandler()
proxy_auth_handler.add_password('realm', 'host', 'username', 'password')
opener = urllib.request.build_opener(proxy_handler, proxy_auth_handler)
还是不知道这个代理的url是什么样的,要怎么写,有什么用。也许就是添加代理吧,可是这个代理在哪~
urllib.request各部分的小介:http://www.cnblogs.com/zknublx/p/6274599.html
class urllib.request.ProxyBasicAuthHandler(password_mgr=None)
通过proxy.password_mgr处理认证的类,入参与urllib.request.HTTPPasswordMgr 相兼容,类似。
class urllib.request.HTTPPasswordMgr
用于保持(realm,uri)到 (user,password)的映射
class urllib.request.HTTPPasswordMgrWithDefaultRealm
用于保持(realm,uri)到 (user,password)的映射,如果realm是None,并且没有其他合适的范围,就会搜索所有范围。