urllib的使用和进阶——urllib.request

 　　urllib是python中常用的一个基本库，以后的许多库包括一些框架如Scrapy都是建立在这个库的基础上的。在urllib中，为用户提供了一系列用于操作URL的功能，其提供的功能主要就是利用程序去执行各种HTTP请求。这当中，最常使用的就是urllib.request模块中的urlopen。

　　如果要模拟浏览器完成特定功能，需要把请求伪装成浏览器。伪装的方法是先监控浏览器发出的请求，再根据浏览器的请求头来伪装，User-Agent头就是用来标识浏览器的。

　　官方给出的方法原型是这样的：

def urlopen(url, data=None, timeout=socket._GLOBAL_DEFAULT_TIMEOUT,
            *, cafile=None, capath=None, cadefault=False, context=None):

　　一般常用的为以下三个部分：

　　url:  需要打开的网址

　　data：Post提交的数据

　　timeout：设置网站的访问超时时间

---

　　但是urlopen也有很大的缺陷，就是他没有办法进行对爬虫进行伪装，也就是无法设置请求头，这就需要urllib中的另外一个库——request，request库提供了对于请求头的使用，用来进行对爬虫的伪装，一般来说，我们会设置几个不同的Headers来进行伪装，用来改变为不同的用户（在自我学习阶段，这样可以使要求不严格的spider减少对ip的改变）。下面的代码基本实现了这种方式的基本操作，并且对于urlopen和request的常用的方法进行了罗列（以www.bing.com为例）。

'''
@Description: urllib 的使用和进阶
@Version: 1.0
@Autor: Montoin Yan
@Date: 2020-02-01 17:55:43
@LastEditors  : Montoin Yan
@LastEditTime : 2020-02-01 19:46:27
'''

#导入urllib中的resqust模块，引用urlopen
#urlopen方法用于发送请求，并将请求到的结果储存在文件中。缺点是不能使用header的引用
#因此引用Request库进行请求头的引用，方便伪装来逃避反扒措施
from urllib.request import urlopen,Request
import random
#当查询到response中的type时，可以按照以下格式进行具体方法的查询
from http.client  import HTTPResponse

url = "http://www.bing.com"
#设置多个请求头，防止被反扒措施进行拦截
ua_list = [
    "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:72.0) Gecko/20100101 Firefox/72.0",
    "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.29 Safari/537.36",
    "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36 Edge/18.18362",
    "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3741.400 QQBrowser/10.5.3863.400"
]
#随机pick one
ua = random.choice(ua_list)
request = Request(url,headers={
    'User-agent':ua
})
# response  = urlopen(url,timeout=3) #GET
response =  urlopen(request,timeout=3)

print(response.closed) #可以使用closed，说明是类文件对象，

with response:
    print(type(response)) #检查response的对应的方法类型
    print(response.status) #检查response的状态
    print(response.reason) #检查返回结果是否成功
    print(response._method) #检查当前所对应的传输方法 即GET或者POST
    # print(response.info()) #获取Headers
    # print(response.read()) #读取并打印获取到的文件的内容
    print(response.geturl()) #返回网页执行真正的url，即当遇到301  302的时候，页面会从当前页面自动跳转到location页面，具体location地址可以在浏览器的开发者模式中进行查看urllib是支持自动跳转的

print(request.get_method()) #获取request中传输的方法，即GET或者POST
print(request.get_header("User-agent")) #获取当前使用的请求头
print(response.closed) #关闭成功，说明response支持上下文管理协议

 　　结果如下所示，可进行参考：