1. urllib中urlopen的基本使用介绍
1 ### urllib中urlopen的基本使用介绍 2 3 ## urlopen的基本用法（GET请求） 4 import urllib.request as r 5 # 访问一个url，返回一个对象 6 response = r.urlopen("https://www.python.org") 7 # 查看返回的网页页面内容 8 print(response.read().decode("utf-8")) 9 # 查看response类型 10 print(type(response)) 11 # 查看response对象有什么方法和属性 12 print(dir(response)) 13 # 获取response对象的相关用法帮助 14 help(response) 15 # 页面返回状态 16 print(response.status) 17 # 页面的headers元素内容 18 print(response.getheaders()) 19 # 获取页面headers的Server属性值 20 print(response.getheader('Server')) 21 22 23 ## data参数（POST请求），urlencode可以把字典格式数据转化成字符串 24 import urllib.request as r 25 import urllib.parse as p 26 # 通过字符转换获取可直接post提交的数据data 27 data = bytes(p.urlencode({'word':'hello'}),encoding = 'utf-8') 28 data2 = p.urlencode({'word':'hello'}) 29 print(data,data2) 30 # 通过post提交data数据 31 response2 = r.urlopen('http://httpbin.org/post',data=data) 32 response3 = r.urlopen('http://httpbin.org/post',data=bytes(data2,encoding = 'utf-8')) 33 print(response3.read()) 34 35 36 # timeout参数 37 import urllib.request as r 38 import urllib.error as er 39 import socket 40 41 # 尝试执行 42 try: 43 response4 = r.urlopen('http://httpbin.org/get',timeout=0.1) 44 print(response4.read()) 45 # 出现错误进行抓取而不中断程序 46 except er.URLError as e: 47 # 错误原因 48 print(e.reason) 49 print(socket.timeout) 50 # 判断类型是否相同 51 if isinstance(e.reason, socket.timeout): 52 print(isinstance(e.reason, socket.timeout)) 53 print('TIME OUT') 54 55 56 # 其他参数：cafile指定CA证书，capath指定CA证书路径，context参数，必须是ssl.SSLContext类型，用来指定SSL设置
2. urllib中Request的基本使用介绍
1 ### urllib中Request的基本使用介绍 2 3 4 ## Request对象进行传参爬取页面 5 import urllib.request 6 7 # 生成一个request对象 8 request = urllib.request.Request('https://python.org') 9 # 将request对象进行传参 10 response = urllib.request.urlopen(request) 11 print(type(request)) 12 print(response.read().decode('utf-8')) 13 14 15 ## Request对象的参数： 16 ## url，用于请求URL，必传参数 17 ## data，必须传bytes类型的数据 18 ## headers，请求头，是一个字典，也可以通过请求实例的add_header()方法进行添加 19 ## origin_req_host指的是请求方的host名称或者IP地址 20 ## unverifiable布尔类型，表示这个请求是无法验证的，默认是False 21 ## method是一个字符串，指定请求方法，如get,post 22 from urllib import request, parse 23 24 url = 'http://httpbin.org/post' 25 headers = { 26 'User-Agent':'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)', 27 'Host':'httpbin.org', 28 } 29 dict = { 30 'name':'dmr' 31 } 32 # 转换数据类型为bytes 33 data = bytes(parse.urlencode(dict), encoding='utf-8') 34 # 生成Request请求对象 35 req = request.Request(url=url,data=data,headers=headers) 36 response = request.urlopen(req) 37 print(response.read().decode('utf-8')) 38 39 40 ### 高级用法 41 42 ## web弹窗认证 43 from urllib.request import HTTPPasswordMgrWithDefaultRealm, HTTPBasicAuthHandler, build_opener 44 from urllib.error import URLError 45 46 username = 'username' 47 password = 'password' 48 url = 'http://127.0.0.1:6666' 49 # 生成HTTPPasswordMgrWithDefaultRealm对象 50 p = HTTPPasswordMgrWithDefaultRealm() 51 # 为对象添加认证参数信息 52 p.add_password(None,url=url,username=username,password=password) 53 # 生成认证对象 54 auth_handler = HTTPBasicAuthHandler(p) 55 # 生成opener对象 56 opener = build_opener(auth_handler) 57 58 try: 59 result = opener.open(url) 60 html = result.read().decode('utf-8') 61 print(html) 62 except URLError as e: 63 print(e.reason) 64 65 66 ## 代理 67 from urllib.error import URLError 68 from urllib.request import ProxyHandler, build_opener 69 70 proxy = { 71 'http':'http://127.0.0.1:4564', 72 'https':'http://127.0.0.1:4564' 73 } 74 proxy_handler = ProxyHandler(proxy) 75 opener = build_opener(proxy_handler) 76 try: 77 result = opener.open('https://www.baidu.com') 78 print(result.read().decode('utf-8')) 79 except URLError as e: 80 print(e.reason) 81 82 83 ## Cookies，提取网页的Cookies；可通过http.cookiejar.Mozilla(LWP)CookieJar(filename)和.save()将cookies保存到文件 84 import http.cookiejar, urllib.request 85 86 cookie = http.cookiejar.CookieJar() 87 handler = urllib.request.HTTPCookieProcessor(cookie) 88 opener = urllib.request.build_opener(handler) 89 response = opener.open('http://www.baidu.com') 90 for item in cookie: 91 print(item.name+'='+item.value)
3. 处理异常
1 ### 处理异常 2 3 ## URLError 4 from urllib import request, error 5 6 try: 7 response = request.urlopen('http:www.dmr666.org') 8 except error.URLError as e: 9 print(e.reason) 10 11 12 ## HTTPError, URLError的子类 13 from urllib import request, error 14 15 try: 16 response = request.urlopen('http://www.dmr66.org') 17 except error.HTTPError as e: 18 print(e.reason, e.code, e.headers, seq=' ') 19 else: 20 pass
4. 解析链接&robots
1 ### 解析链接 2 3 ## urlparse() 4 ## scheme协议，://前面部分 5 ## netloc域名，第一个/符号前面 6 ## path路径，域名后面;前面部分 7 ## params参数，;号后面问号?前面 8 ## query查询条件，?号后面，用于get类型的url 9 ## flagment描点，#后面，用于定位页面内部的下拉位置 10 from urllib.parse import urlparse 11 12 result = urlparse('http://www.baidu.com/index.html;user?id=$#comment') 13 print(type(result), result) 14 15 16 ## urlunparse()，传入可迭代对象，长度必须是6 17 from urllib.parse import urlunparse 18 19 data = ['http','www.baidu.com','index.html','user','b=6','comment'] 20 print(urlunparse(data)) 21 22 23 ## urlsplit()，params会合并在path中 24 from urllib.parse import urlsplit 25 26 result = urlsplit('http://www.baidu.com/index.html;user?id=$#comment') 27 print(result) 28 29 ## urlunsplit()，传入可迭代对象，长度必须是5 30 from urllib.parse import urlunsplit 31 32 data = ['http','www.baidu.com','index.html','a=6','comment'] 33 print(data) 34 35 36 ## urljoin()，url拼接，只保留scheme，netloc，path 37 ## scheme，netloc，path三部分内容新链接中不存在，则补充，新链接中存在，则用新链接的 38 from urllib.parse import urljoin 39 40 print(urljoin('http://www.baidu.com','index.html')) 41 print(urljoin('http://www.baidu.com','https://www.baidu.com/index.html')) 42 print(urljoin('http://www.baidu.com/dmr.html','https://www.baidu.com/index.html')) 43 print(urljoin('http://www.baidu.com/dmr.html','https://www.baidu.com/index.html?q=2')) 44 print(urljoin('http://www.baidu.com/dmr.html','q=2#comment')) 45 print(urljoin('www.baidu.com/dmr.html','q=2#comment')) 46 print(urljoin('www.baidu.com#coment','q=2')) 47 48 49 ## urlencode()，字典序列化，把字典序列化成get请求参数，常用于get请求url的拼接 50 from urllib.parse import urlencode 51 52 query = { 53 'name':'dmr', 54 'age':'25', 55 } 56 base_url = 'http://www.badu.com' 57 q = urlencode(query) 58 url = base_url + q 59 print(url) 60 61 62 ## parse_qs()，反序列化，将参数转换成字典格式 63 from urllib.parse import parse_qs 64 65 query='name=dmr&age=25' 66 dict = parse_qs(query) 67 print(type(dict),dict) 68 69 70 ## parse_qsl()，反序列化，将参数转换成元组组成的列表 71 from urllib.parse import parse_qsl 72 73 query = 'name=dmr&age=25' 74 list = parse_qsl(query) 75 print(list) 76 77 78 ## quote()，将内容转换成url编码格式，url中有中文内容时，常出现乱码 79 from urllib.parse import quote 80 81 keyword = '杜某人' 82 url = 'https://www.baidu.com/?wd=' + keyword 83 print(url) 84 print(quote(url)) 85 86 ## unquote()，解码 87 from urllib.parse import unquote 88 89 url = 'https%3A//www.baidu.com/%3Fwd%3D%E6%9D%9C%E6%9F%90%E4%BA%BA' 90 print(unquote(url)) 91 92 93 94 ### Robots协议，即爬虫协议，用来告诉爬虫哪些页面可以爬取，哪些页面不可以爬取 95 # 当搜索爬虫访问一个站点时，它先检查这个站点根目录下是否存在robots文件，如果存在，则按照其中定义的范围来爬取，否则，皆可爬取 96 # 其中，robots文件基本包含如下3项内容 97 # User-agent:* # 爬虫名称，*为所有 98 # Disallow:/ # 禁止爬取的网站目录 99 # Allow:/public/ # 仅允许爬取的网站目录，一般不与Disallow共用 100 ## robotparser()，解析robots文件模块 101 ## set_url(),用来设置设置robots.txt文件链接 102 ## read(),读取robots.txt文件并进行分析 103 ## parse(),用来解析robots.txt文件 104 ## can_fetch(User-agent,URL),判断url页面是否可以爬取 105 ## mtime(),返回上次抓取和分析robots.txt的时间 106 ## modified(),将当前时间设置为上次抓取和分析robots.txt的时间 107 108 from urllib.robotparser import RobotFileParser 109 110 rp = RobotFileParser() 111 rp.set_url('http://www.baidu.com/robots.txt') 112 rp.read() 113 print(rp.can_fetch('*','http://www.baidu.com/p/ldkfjlk')) 114 print(rp.can_fetch('*','http://www.baidu.com/s?wd=Python'))