使用requests爬取图片并下载

一、爬虫实现方式

　　使用requests访问网页，获取网页源码后，使用BeautifulSoup抓取的数据进行分析，拿取到需要的数据（图片的url地址），然后再根据地址将图片保存到本地

 　　使用前需要安装好第三方库requests和BeautifulSoup，requests获取页面所有数据，BeautifulSoup对数据进行处理

二、使用requests访问网址

　　使用requests函数来访问需要爬取图片的地址，然后获取对应的返回数据

 requests的常用返回数据方法：
 1 r.encoding                       #获取当前的编码
r.encoding = 'utf-8'             #设置编码
r.text                           #以encoding解析返回内容。字符串方式的响应体，会自动根据响应头部的字符编码进行解码。
r.content                        #以字节形式（二进制）返回。字节方式的响应体，会自动为你解码 gzip 和 deflate 压缩。
r.headers                        #以字典对象存储服务器响应头，但是这个字典比较特殊，字典键不区分大小写，若键不存在则返回None
r.status_code                     #响应状态码
r.raw                             #返回原始响应体，也就是 urllib 的 response 对象，使用 r.raw.read()   
r.ok                              # 查看r.ok的布尔值便可以知道是否登陆成功
 #*特殊方法*#
r.json()                         #Requests中内置的JSON解码器，以json形式返回,前提返回的内容确保是json格式的，不然解析出错会抛异常
r.raise_for_status()             #失败请求(非200响应)抛出异常

    def page(self,url=None,photoheadr_url = None):
        print("-----开始爬取图片-----")
        if url is None:
            print('请输入url')
            return
        request = requests.get(url)
        request.encoding = 'utf-8' #有时候返回的页面会出现乱码，所以最好加上编码格式
        if request.status_code != 200:
            print("url请求失败,请检查url：%s" % url)
            return
        pagehtml = request.text
        print("页面HTML获取成功，url为:%s" % url)
        self.htmldownload(pagehtml,photoheadr_url)  #调用下载图片函数

将获取到的页面的所有的数据，给到BeautifulSoup进行处理，获取想要的数据

三、下载和保存图片

拿取到页面的数据后，对数据进行处理：

pagehtml为刚刚获取到的页面的源码，使用

    def htmldownload(self,pagehtml,photoheadr_url = None):
        '''下载图片'''
        img_urls = []
        soup = BeautifulSoup(pagehtml, 'html.parser')
        # imgs = soup.find_all("img" ,src=re.compile("(.*)") )  #获取图片的img
        imgs = soup.find_all("img")  # 获取图片的img
        if len(imgs) is 0:
            print("当前页面没有找到img标签。请检查页面是否有图片（或图片是否在img标签里）")
            return
        else:
            print("页面图片数为:%d " % len(imgs) )
            print("img标签内容为:
%s " %  imgs)
        for img in imgs:
            try:
                photo_url = img['src']  # 获取所有的链接,默认去查找的src下的路径，如果路径不在src，修改对应的查找内容就可以了
                new_full_url = parse.urljoin(photoheadr_url,photo_url) #将从src获取的路径拼成一个完整的，如果没有就不需要拼
                img_urls.append(new_full_url)
            except Exception as e:
                print("img标签里src路径获取失败，请检查img标签内容")
                print("报错内容： %s" % e)
        print('图片url获取完成:
%s' % img_urls)
        self.ssave_image(img_urls)

完整代码如下：

import requests
import os          # 用于指定文件的保存地址
from bs4 import BeautifulSoup
from urllib import parse
from urllib.parse import urlparse


class pachong(object):
    '''获取页面HTML并提取图片url'''
    def page(self,url=None,photoheadr_url = None):
        print("-----开始爬取图片-----")
        if url is None:
            print('请输入url')
            return
        request = requests.get(url)
        request.encoding = 'utf-8'
        if request.status_code != 200:
            print("url请求失败,请检查url：%s" % url)
            return
        pagehtml = request.text
        print("页面HTML获取成功，url为:%s" % url)
        self.htmldownload(pagehtml,photoheadr_url)  #调用下载图片函数

    def htmldownload(self,pagehtml,photoheadr_url = None):
        '''下载图片'''
        img_urls = []
        soup = BeautifulSoup(pagehtml, 'html.parser')
        # imgs = soup.find_all("img" ,src=re.compile("(.*)") )  #获取图片的img
        imgs = soup.find_all("img")  # 获取图片的img
        if len(imgs) is 0:
            print("当前页面没有找到img标签。请检查页面是否有图片（或图片是否在img标签里）")
            return
        else:
            print("页面图片数为:%d " % len(imgs) )
            print("img标签内容为:
%s " %  imgs)
        for img in imgs:
            try:
                photo_url = img['src']  # 获取所有的链接,默认去查找的src下的路径，如果路径不在src，修改对应的查找内容就可以了
                new_full_url = parse.urljoin(photoheadr_url,photo_url) #将从src获取的路径拼成一个完整的，如果没有就不需要拼
                img_urls.append(new_full_url)
            except Exception as e:
                print("img标签里src路径获取失败，请检查img标签内容")
                print("报错内容： %s" % e)
        print('图片url获取完成:
%s' % img_urls)
        self.ssave_image(img_urls)

    def ssave_image(self,img_urls = None):
        '''保存图片到本地'''
        if  img_urls is None or len(img_urls) == 0:
            print("下载时未找到图片url，请检查图片下载地址和img标签内的属性")
            return
        cur_path = os.path.abspath(os.curdir)  # 获取当前绝对路径
        goal_path = cur_path + '\' + 'imgs' # 想将文件保存的路径
        if not os.path.exists(goal_path):  # os.path.isfile('test.txt') 判断文件夹/文件是否存在
            os.mkdir(goal_path)  # 创建文件夹
            print("创建imgs文件夹成功，准备下载图片")
        else:
            print("已有imgs文件夹，准备下载图片")
        for img in img_urls:
            file_path = urlparse(img).path.split('/')[-1]
            file_path = "{0}".format(file_path)   #生成文件用来存放图片，名称为取的名称
            try:
                photo = requests.get(img)
                if photo.status_code == 200:
                    with open(goal_path + '\' + file_path, 'wb')as f:
                        f.write(photo.content)
                        f.close()
                print("图片：%s 下载完成" % file_path)
            except Exception as e:
                print("下载图片：%s 失败，请检查图片下载url" % file_path)
                print ('报错内容:%s ' % e)
        print("爬取图片完成")

if __name__ == '__main__':
    a = pachong()
    a.page('https://the86driver.com/blog/29','https://the86driver.com')
    a.page("http://www.nipic.com/topic/show_27400_1.html")

 

 

BeautifulSoup