urlib补充

import urllib.request # HTTP请求模块

'''

urllib有4个模块：

request ：他是最基本的HTTP请求模块，可以用来模拟发送请求。

error：异常处理模块，如果出现请求错误，我们可以捕获这些异常，然后进行重试或其他操作以保证程序不会意外终止。

parse：一个工具，提供了许多URl处理方法，比如拆分、解析、合并等。

robotparser：主要是用来识别网站的robots.txt文件。然后判断哪些网站可以爬，哪些不可以爬，这个模块其实用得比较少。

'''

url = 'http://www.baidu.com'

response = urllib.request.urlopen(url) # 发送请求

'''

语法格式：urlopen(url, data=None, timeout=socket._GLOBAL_DEFAULT_TIMEOUT, cafile=None, capath=None, cadefault=False, context=None)

urlopen有以下参数：

url：需要访问网址。

data：默认值为None，不写参数的话默认为get请求，反之为post，发送post请求，

    参数data以字典形式储存数据，并将参数data由字典类型转换成字节型才能完成post请求。

timeout：超时设置。

cafile、capath、cadefault：使用参数指定一组HTTPS请求的可信CA证书。

context：描述各种SSL选项的实例。

'''

# read函数返回网页内容，read返回的是bytes类型的数据，需要用到decode()转换成str类型，转行的编码格式是根据网页的编码方式的，否则会乱码。

print(response.read().decode('utf-8'))

# 返回状态码，还有getcode()方法也算是可以返回状态码

print(response.status)

# 返回响应头信息

print(response.getheaders())

print('*****************************************************************')

# 设置请求头

import urllib.request

url = 'https://www.baidu.com'

# 定义请求头

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.100 Safari/537.36'}

# 设置request的请求头

req = urllib.request.Request(url, headers=headers)

# 使用urlopen打开req

# # read函数返回网页内容，read返回的是bytes类型的数据，需要用到decode()转换成str类型，转行的编码格式是根据网页的编码方式的，否则会乱码。

html = urllib.request.urlopen(req).read().decode('utf-8')

print(html)

print('*****************************************************************')

# 设置代理IP

# 代理IP的原理：以本机先访问代理IP，再通过代理IP访问互联网，这样网站接受到的访问IP就是代理IP的地址。

import urllib.request

url = 'https://www.baidu.com'

# 设置代理IP

proxy_handler = urllib.request.ProxyHandler({

    'http': '218.56.132.157:8000',

    'https': '218.56.132.157:8000'

})

# 必须使用build_opener()函数来创建带有代理IP功能的opener对象

opener = urllib.request.build_opener(proxy_handler)

response = opener.open(url)

html = response.read().decode('utf-8')

print(html)

'''

这里要注意的是：

由于使用了代理IP，因此连接IP的时候有可能出现超时而导致报错，

遇到这种情况只要更换其他代理IP或者再次访问即可。

'''

print('*****************************************************************')

# 使用cookies

'''

cookies主要用于获取用户登录信息，比如：通过提交数据实现用户登录之后，会生成带有登录状态的cookies，

这样可以将cookies保存在本地文件中，下次程序运行的时候，直接读取cookies来登录，

对于特别复杂的登录，如验证码、手机短信验证登录这类的网站，使用cookies能简单解决重复登录的问题。

-

urllib提供了HTTPCooieProcessor()对cookies操作，但cookies的读写是有MozillaCookieJar()完成的。

'''

print('*****************************************************************')

# 证书验证

import urllib.request

import ssl

url = 'https://www.baidu.com'

# 关闭证书验证

ssl._create_default_https_context = ssl._create_unverified_context

response = urllib.request.urlopen(url)

print(response.getcode())

print('*****************************************************************')

# 数据处理和post请求

import urllib.request

import urllib.parse

# 数据处理

url = 'https://www.baidu.com'

'''

urllib在请求访问服务器的时候，如果发生数据传递，就需要对内容进行编码处理,将str和bytes对象

的两个元素元祖序列转行为百分比编码的ASCII文本字符串。

如果字符串要用作POST，那么它应该被编码为字节，否则会导致TypeError错误。

'''

# 发送post请求，需要使用urllib.parse对参数内容进行处理。

data = {

    'value': 'true',

}

# 数据处理

data = urllib.parse.urlencode(data).encode('utf-8')

# 使用urlencode方法转换成字节的数据类型，encode设置字节编码，注意：字节编码是根据网站的编码格式来定的。

# urlencode的作用只是对请求参数做数据格式转换处理。

req = urllib.request.urlopen(url, data=data)

print(req)

# urllib还有两个编码处理的方法，quote()和unquote()。

url = '%2523%25E7%25BC%2596%25E7%25A8%258B%2523'

# 第一次解码

first = urllib.parse.unquote(url)

print(first)  # 输出：%23%E7%BC%96%E7%A8%8B%23

# 第二次解码

second = urllib.parse.unquote(first)

print(second)  # 输出：#编程#

# 上面的例子是将url中的特殊字符进行还原处理。

url = '编程'

a = urllib.parse.quote(url)

print(a)  # 输出：%E7%BC%96%E7%A8%8B

s = urllib.parse.quote(a)

print(s)  # 输出：%25E7%25BC%2596%25E7%25A8%258B

# 上面的例子是将url中的中文字符进行还原处理。

print('*****************************************************************')

'''

urllib的常用语法：

- urllib.request.ualopen：访问url，请求url

- urllib.request.Request：模拟headers请求头

- urllib.request.HTTPCookieProcessor：设置cookies对象

- urllib.parse.urlencode(data).encode('utf-8')：请求数据格式转换

- urllib.parse.quote(url)：url编码处理，主要对url上的中文等特殊符号编码处理。

- urllib.parse.unquote(url)：url解码处理，将url上的特殊符号还原。

urllib是Python标准库的一部分,包含urllib.request,urllib.error,urllib.parse,urllib.robotparser四个子模块,这里主要介绍urllib.request的一些简单用法:
首先是urlopen函数,用于打开一个URL:
#获取并打印google首页的html
import urllib.request
response urllib.request.urlopen( ;http://www.google.com ;)
html response.read()
print(html)
urlopen返回一个类文件对象,可以像文件一样操作,同时支持一下三个方法:
info()返回一个对象表示远程服务器返回的头信息。 getcode()返回Http状态码如果是http请求返回请求的url地址。 有时候我们需要设置代理,这时我们可以这样做:
#设置全局代理
import urllib.request
handler urllib.request.ProxyHandler({ http://someproxy.com:8080 ;})
opener urllib.request.build_opener(handler)
urllib.request.install_opener(opener)#安装opener作为urlopen()使用的全局URL opener即以后调用urlopen()时都会使用安装的opener对象。
response urllib.request.urlopen( ;http://www.google.com ;)
print(response.read())

如果要细致的设置代理,可以用opener的open方法打开URL:
import urllib.request
handler urllib.request.ProxyHandler({ http://someproxy.com:8080 ;})
opener urllib.request.build_opener(handler)
response opener.open( ;http://www.google.com ;)
print(response.read())
打开url后,我们可以将内容写入一个本地文件来达到保存网页的目的,但是这里有一个更方便的方法,那就是调用urlretrieve():
#使用urllib.request.urlretrieve()将网页保存到本地
import urllib.request
url ;http://www.baidu.com/ ;
local_path ;P:\download.html ;
urllib.request.urlretrieve(url, local_path)