使用Urllib下载图片

1. urllib下载图片
2. urllib3下载图片

Urllib下载图片

from urllib import request
import re
import os

#   妹子图首页       下载首页的几张
url = 'https://www.mzitu.com'
#   Request对象添加请求头方法一：数据为字典类型
headers = {
    'User-Agent': 'Mozilla/5.0 (X11; CrOS i686 4319.74.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/29.0.1547.57 Safari/537.36 '
}
#   创建Request实例 将url和请求头传入
req = request.Request(url, headers=headers)

#   发起连接，返回的是一个对象，不使用代理
data = request.urlopen(req)

#   用read()方法，读取返回对象中的内容，取出每张图片的url
img_urls = re.findall("data-original='(.*?)'", data.read().decode())
#   以数字给图片命名
name = 1
#   根据每张图片的url循环下载
for img_url in img_urls:
    #   每张图片的url
    print(img_url)
    #   创建新的Request对象，将url传入
    req_img = request.Request(url=img_url)
    #   Request对象添加请求头方法二：数据为元组类型
    req_img.add_header('Referer', url)
    img_data = request.urlopen(req_img)
    #   判断是否存在这个目录、是否创建过一次
    if name == 1 and not os.path.exists('urllib_img_test'):
        os.mkdir('urllib_img_test')
    #   判断是否第一次进入文件夹
    if name == 1:
        #   进入创建的文件夹
        os.chdir('urllib_img_test')
    img_name = str(name) + '.jpg'
    #   保存图片
    with open(img_name, 'wb') as f:
        f.write(img_data.read())
    name += 1

Urllib3下载图片

import urllib3
import re
import time
import os

#   判断文件夹是否存在，不存在就创建
if not os.path.exists('urllib3_img_test'):
    os.mkdir('urllib3_img_test')
#   进入文件夹
os.chdir('urllib3_img_test')

#   妹子图首页   下载首页几个主题里面的所有图片
url = 'https://www.mzitu.com'
#   禁用警告
urllib3.disable_warnings()
req = urllib3.PoolManager()
#   添加请求头
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; rv:21.0) Gecko/20130328 Firefox/21.0'
}
#   发起请求
res = req.request('get', url, headers=headers)
#   取出数据
datas = re.findall('<li><a href=.*</li>',res.data.decode())

for data in datas:
    #   进入各个主题的url    取出的两个url是一样的，选一个就行了
    type_imgs = re.findall('href="(.*?)"',data)[0]
    #   主题的标题，取出来做文件夹名称
    type_name = re.findall(" alt='(.*?)'",data)[0]
    #   判断标题里是否有+，加斜杆转义，不影响正则判断
    if '+' in type_name:
        type_name = type_name.replace('+', '+')
    print(type_name,type_imgs)
    #   进入各个主题，下载主题里的所有图片
    type_data = req.request('get',type_imgs,headers=headers).data.decode()
    #   图片的url
    url_img = re.findall('{}.*" ><img src="(.*?)".*{}'.format(type_imgs, type_name), type_data)
    #   每个主题的图片数量
    num = int(re.findall('上一组.*<span>(.*)</span>.*下一页', type_data)[0])
    for i in range(1, num + 1):
        #   每张图片的url    在主题url后面加数字
        url_img = type_imgs + '/' + str(i)
        print(url_img)
        #   对每张图片的url发起请求
        temp_url = req.request('get', url_img, headers=headers).data.decode()
        #   每张图片的url
        urls_img = re.findall('{}.*src="(.*?)".*{}'.format('https://www.mzitu.com', type_name), temp_url)[0]
        print(urls_img)
        #   请求头添加 referer
        headers = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; rv:21.0) Gecko/20130328 Firefox/21.0',
            'Referer': url_img
        }
        #   获得图片的内容，保存到本地
        img_content = req.request('get', urls_img, headers=headers).data
         #   判断标题里是否有斜杆，有就去掉
        if '\' in type_name:
            type_name = type_name.replace('\','')
        #   判断文件夹是否存在，不存在就创建
        if i ==1 and not os.path.exists(type_name):
            os.mkdir(type_name)
        #   进入文件夹
        os.chdir(type_name)
        img_name = str(i) +'.jpg'
        with open(img_name, 'wb') as f:
            f.write(img_content)
        time.sleep(0.2)
        #   返回上一级菜单创建新的文件夹下载其它主题的图片
        os.chdir('..')
    time.sleep(0.2)