实战scrapy抓取站长图片数据

一、创建scrapy项目

1.首先我们通过命令行先创建项目

# 创建项目
kouhuideMacBook-Air:scrapy框架 kouhui$ scrapy startproject Zhanzhangpic

执行完命令行后会出现如下提示，大概意思就是进入创建的项目后，执行scrapy genspider  
蜘蛛文件名 任务网址
New Scrapy project 'Zhanzhangpic', using template directory '/Users/kouhui/Documents/python/search/venv/lib/python3.6/site-packages/scrapy/templates/project', created in:
    /Users/kouhui/Documents/python/search/scrapy框架/Zhanzhangpic

You can start your first spider with:
    cd Zhanzhangpic
    scrapy genspider example example.com

# 这边我们就按提示来执行一下命令行
(venv) kouhuideMacBook-Air:scrapy框架 kouhui$ cd Zhanzhangpic/                                       
(venv) kouhuideMacBook-Air:Zhanzhangpic kouhui$ scrapy genspider zhanzhangpic 'www.xxx.com'

执行完以后我们果然发现了一个spider文件！！！

OK目前项目已经建好了，首先我们要去settings 中修改一些配置内容。

好了配置文件改完以后，我们先去分析一下页面，发现所有的照片都在一个div下，所以先把最上层的div定位到，再循环去取图片路径。

# zhanzhangpic.py
# -*- coding: utf-8 -*-
import scrapy


class ZhanzhangpicSpider(scrapy.Spider):
    name = 'zhanzhangpic'
    # allowed_domains = ['www.xxx.com']
    start_urls = ['http://sc.chinaz.com/tupian/']  # 先将站长图片的网址粘到start_url中

    def parse(self, response):
        div_list = response.xpath('//*[@id="container"]/div')
        for div in div_list:
            pic_url = div.xpath('./div/a/img/@src').extract_first()
            print(pic_url)

我们先打印一下看看是否把所有图片的路径都找到了？

 咦？明明已经抓取到了，可是为什么显示是None呢？这里涉及到一个反爬技术：图片的软加载，如下图所示，没有加载的图片的属性都是@src2，所以把抓取的属性改成src2。

# zhanzhangpic.py
# -*- coding: utf-8 -*-
import scrapy


class ZhanzhangpicSpider(scrapy.Spider):
    name = 'zhanzhangpic'
    # allowed_domains = ['www.xxx.com']
    start_urls = ['http://sc.chinaz.com/tupian/']  # 先将站长图片的网址粘到start_url中

    def parse(self, response):
        div_list = response.xpath('//*[@id="container"]/div')
        for div in div_list:
            pic_url = div.xpath('./div/a/img/@src2').extract_first()
            print(pic_url)

在看下爬取到的url，OK!

接下来我们需要用管道来存储数据，第一步先去items文件中创建items中的变量。

# items.py

# -*- coding: utf-8 -*-

# Define here the models for your scraped items
#
# See documentation in:
# https://docs.scrapy.org/en/latest/topics/items.html

import scrapy


class ZhanzhangpicItem(scrapy.Item):
    # define the fields for your item here like:
    pic_url = scrapy.Field()  # 这里定义属性时为了好区别尽量定义成spider文件中需要获取的数据变量名
    pass

然后在spider文件中导入items文件，将items中的pic属性赋值给pic_url变量传输给管道

# zhanzhangpic.py
# -*- coding: utf-8 -*-
import scrapy
from Zhanzhangpic.items import zhanzhangpicItems


class ZhanzhangpicSpider(scrapy.Spider):
    name = 'zhanzhangpic'
    # allowed_domains = ['www.xxx.com']
    start_urls = ['http://sc.chinaz.com/tupian/']  # 先将站长图片的网址粘到start_url中

    def parse(self, response):
        div_list = response.xpath('//*[@id="container"]/div')
        for div in div_list:
            pic_url = div.xpath('./div/a/img/@src2').extract_first()

            item = zhanzhangpicItems
            item['pic_url'] = pic_url

            yield item  # 将item传输给管道

 将item传送给管道后，我们就可以去写管道类了，这里我们要用到ImagesPipeline模块

# pipelines.py
# -*- coding: utf-8 -*-

# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: https://docs.scrapy.org/en/latest/topics/item-pipeline.html


# class ImgsPipeline(object):
#     def process_item(self, item, spider):
#         return item
from scrapy.pipelines.images import ImagesPipeline
import scrapy
#
class ImginsPipeline(ImagesPipeline):  # 新建图片管道类

    # 根据图片地址进行图片数据的请求
    def get_media_requests(self, item, info):

        yield scrapy.Request(item['img_url'])
    # 添加文件夹路径
    def file_path(self, request, response=None, info=None):
        imgName = request.url.split('/')[-1]
        return imgName #返回文件名
    
    # 这个方法与其他管道类类似，如果后面还有管道类，会将item传给下个管道
    def item_completed(self, results, item, info):
        return item

到了这里已经差不多大功告成了，最后还差一步，去配置文件中写入下载下来图片存储的文件夹和添加新增的管道类

# settings.py

ITEM_PIPELINES = {
   #'Zhanzhangpic.pipelines.ZhanzhangpicPipeline': 300, # 因为在pipelines文件中已经把ZhanzhangpicPipeline注释掉了，所以对应settings里面也要把这条注释掉
   'Zhanzhangpic.pipelines.ImginsPipeline': 290 # 新增的管道类
}

IMAGES_STORE = './imgs_gaogao'

好了最后执行项目，见证奇迹的时刻！

 

 图片就都拉下来喽！

如果您觉得好请点赞 谢谢！