Python爬虫学习：Python内置的爬虫模块urllib库

urllib库

• urllib库是Python中一个最基本的网络请求的库。它可以模拟浏览器的行为发送请求（都是这样），从而获取返回的数据

urllib.request

在Python3的urllib库当中，所有和网络请求相关的方法都被集成到了urllib.request模块下

#基本使用
from urllib import request

resp = request.urlopen("URL")

print(resp.read())

如果是成功的，那么我们打印的内容和在浏览器中右击查看源代码的内容是一样的。

urlopen接受两个参数：

• url：请求的url地址
• data：请求的data，如果设置了这个值，请求就会变成是POST请求

返回值：返回值是一个http.client.HTTPResponse对象，这个对象是一个类 文件句柄 对象。有read（size）、readline、readlines以及getcode等方法

urlretrieve函数

这个函数可以非常方便的将网页上的内容保存到本地。

from urllib import request

request.urlretrieve（"URL","本地保存的文件"）

urlencode函数

用浏览器发送请求的时候，如果url中包含了中文或者是其他的特殊字符，那么浏览器会自动的给我们进行一个编码。而如果是我们的爬虫，我们就只能手动的进行编码。

urlencode可以把字典的数据转换为url编码的数据

form urllib import parse

data = {"key":"value"}

url_encode = parse.urlencode(data)

print(url_encode)

parse_qs函数

将经过编码后的数据再次进行解码。

form urllib import parse

data = {"key":"value"}

url_encode = parse.urlencode(data)

url_decode = parse.parse_qs(url_encode)

print(url_decode)

urlparse和urlsplit

有的时候，我们从页面上拿到一个url，想对这个url进行一个分割，取出某一部分什么的。就可以使用urlparse和urlsplit这些啦

from urllib import request,parse

url = 'http://www.baidu.com/s?username=zhiliao'

result = parse.urlsplit(url)
# result = parse.urlparse(url)

print('scheme:',result.scheme)
print('netloc:',result.netloc)
print('path:',result.path)

urlparse和urlsplit几乎是一模一样的，唯一不同的就是urlparse中多了一个params属性，这个不常用。

request.Request

还记得在充电中说的请求头吗，如果你想在请求的过程中加上这些请求头，那么你就不得不使用这个request.Request类来实现了。

from urllib import request

headers  = {
  "User-Agent":""  
}
req = request.Request("URL",headers=headers)
resp = request.urlopen(req)

print(resp.read())

 ProxyHandler代理设置

我们制作的爬虫有时候为了爬取更多的数据，有可能会对对方的服务器造成很大的压力。所以，一些网站就专门针对爬虫做了一些防范措施，之前的user-agents是一个，一个Ip访问次数过多也会被禁止，这也是一种防爬机制，所以我们可能会找一些代理IP，当自己的IP无法使用的时候，换一个IP重新使用

form urllib import request

handler = requet.ProxyHandler({"代理的协议（http或者https）":"代理IP+端口"})

opener = request.build_opener(handler)

req = request.Request("请求的URL")
resp = opener.open(req)

print(resp.read())

COOKIE的获取和使用

cookie的格式：

Set-Cookie:NAME=VALUE:Expires/Max-age=DATE;Path=PATH;Domain=DOMAIN_NAME;SECURE

• NAME：cookie的名字
• VALUE：cookie的值
• Expires：cookie的过期时间，时间一到，浏览器会自动清除
• Path：cookie作用的路劲
• Domain：cookie作用的域名
• SECURE：是否只在https协议下起作用

使用cookielib库和HTTPCookieProcessor模拟登录