Scrapy框架

一 、介绍

    Scrapy一个开源和协作的框架，其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的，使用它可以以快速、简单、可扩展的方式从网站中提取所需的数据。但目前Scrapy的用途十分广泛，可用于如数据挖掘、监测和自动化测试等领域，也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。

    Scrapy 是基于twisted框架开发而来，twisted是一个流行的事件驱动的python网络框架。因此Scrapy使用了一种非阻塞（又名异步）的代码来实现并发。整体架构大致如下

　　1、scrapy的工作流程

　　　　第一步：爬虫从spiders爬行器中发送request请求给engine引擎。

　　　　第二部：引擎发送request请求给scheduler调度器，调度器从中调度请求，并要求下一个请求进来。

　　　　第三部：调度程序将第一个请求返回给引擎。

　　　　第四部：引擎将请求发送给下行加载程序downloader，通过下行加载中间件，并且准备下载网页。

　　　　第五步：一旦页面完成下载后，Downloader会生成一个响应(使用该页面)并将其发送到引擎，通过Downloader中间件到达downloader下载器

　　　　第六步：引擎接收来自Downloader的响应，并将其发送给爬行器进行处理，通过爬行器中间件，到达爬行器

　　　　第七步：爬行器处理响应信息，并将处理后的结果通过爬行器中间件返回到引擎。

　　　　第八步：引擎将处理过的数据发送到项目管道，然后将处理过的请求发送到调度程序，并请求可能的下一个请求进行爬行。

　　总结：

　　　　1、引擎负责控制系统所有组件之间的数据流，并在某些动作发生时触发事件

　　　　2、调度器用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时候返回. 可以想像成一个URL的优先级队列, 由它来决定下一个要抓取的网址是什么, 同时去除重复的网址

　　　　3、下载器用于下载网页内容, 并将网页内容返回给EGINE，下载器是建立在twisted这个高效的异步模型上的

　　　　4、爬虫器SPIDERS是开发人员自定义的类，用来解析responses，并且提取items，或者发送新的请求

　　　　5、项目管道在items被提取后负责处理它们，主要包括清理、验证、持久化（比如存到数据库）等操作

　　　　6、下载器中间件位于Scrapy引擎和下载器之间，主要用来处理从EGINE传到DOWLOADER的请求request，已经从DOWNLOADER传到EGINE的响应response，你可用该中间件做以下几件事情

　　　　　　1、在发送到下载程序之前处理一个请求(即在剪贴簿发送请求到网站之前);

　　　　　　2、在将其传递给蜘蛛之前，更改接收到响应;

　　　　　　3、发送一个新的请求，而不是传递接收到的响应;

　　　　　　4、在不获取web页面的情况下对爬行器进行响应;

　　　　　　5、悄悄地放弃一些请求。

　　　　7、爬虫中间件

　　　　　　位于EGINE和SPIDERS之间，主要工作是处理SPIDERS的输入（即responses）和输出（即requests）

官网链接：https://docs.scrapy.org/en/latest/topics/architecture.html

二 安装

#Windows平台
    1、pip3 install wheel #安装后，便支持通过wheel文件安装软件，wheel文件官网：https://www.lfd.uci.edu/~gohlke/pythonlibs
    3、pip3 install lxml
    4、pip3 install pyopenssl
    5、下载并安装pywin32：https://sourceforge.net/projects/pywin32/files/pywin32/
    6、下载twisted的wheel文件：http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
    7、执行pip3 install 下载目录Twisted-17.9.0-cp36-cp36m-win_amd64.whl
    8、pip3 install scrapy
  
#Linux平台
    1、pip3 install scrapy

三 命令行工具

#1 查看帮助
    scrapy -h      或者是scrapy -l
    scrapy <command> -h

#2 有两种命令：其中Project-only必须切到项目文件夹下才能执行这种命令是局部命令，而Global的命令则不需要，是属于全局命令
    Global commands:全局命令
       1、startproject #创建一个爬虫项目，相当于创建了个爬虫的整体框架，   
　　　　　　　　scrapy startproject 项目名称
       2、genspider    #创建一个爬虫程序，可以在配置文件中将网址域名注释调，该网址域名的作用就是在网站的html中只允许爬该网址的数据
　　　　　　　　scrapy genspider 爬虫名称  需要爬的网址域名   
       3、settings     #如果是在项目目录下，则得到的是该项目中settings的配置，否则不是，
　　　　　　　　scrapy settings --get=settings文件中的配置变量 
       4、runspider    #运行一个独立的python文件，不必创建项目，这个python文件可以是一个爬虫程序
　　　　　　　　scrapy runspider  爬虫文件的绝对路径
       5、shell        #  在交互式调试，如选择器规则正确与否都是在该交互式环境下测试的，相当于get下来数据后将数据封装到了个response对象内。
　　　　　　　　scrapy shell url地址
　　　　　　　　view(response);response.text;response.body;
       6、fetch        #独立于程单纯地爬取一个页面，可以拿到请求头
　　　　　　　　scrapy fetch url地址
　　　　　　　　scrapy fetch --header url地址
       7、 view         #下载完毕后直接弹出浏览器，以此可以分辨出哪些数据是ajax请求
　　　　　　　　scrapy  view  rul路径 #如果页面显示内容不全，不全的内容则是ajax请求实现的，以此快速定位问题
       8、version      　# 
　　　　　　　　scrapy version   查看scrapy的版本 
　　　　　　　　scrapy version -v   查看scrapy所依赖的库版本
　　　　　　
    Project-only commands:局部命令，必须在项目目录下才能执行
       1、crawl        #运行爬虫，必须创建项目程序才行，确保配置文件settings中ROBOTSTXT_OBEY = False，机器人策略，关闭该策略后就不会受机器人策略的影响
　　　　　　　　scrapy crawl 爬虫项目文件名     #和之前的runspider方法相比该方法必须在项目目录下运行且受机器人策略的影响
　　　　　　　　scrapy crawl 爬虫项目文件名 --nolog #运行爬虫项目不打印日志
　　　　　　　　scrapy crawl 爬虫项目文件名 -a 参数名=参数值  #给爬虫项目传参，但是项目内部必须重新__int__方法来接受外部参数
　　　　　　　  scrapy crawl 爬虫项目文件名 -a 参数名=参数值 --nolog #运行爬虫项目不打印日志并且传参数给爬虫项目
       2、check        #检测项目(所有的爬虫程序)中有无语法错误
　　　　　　　　scrapy check 
       3、list         #列出项目中所包含的爬虫名
　　　　　　　　scrapy list
       4、edit         #编辑器，一般不用
       5、 parse        #  #以此可以验证我们的回调函数是否正确，回调函数一般写在爬虫程序文件下
　　　　　　　　scrapy parse url地址 --callback 回调函数
       6、bench        #压力测试
　　　　　　　　scrapy bench

#3 官网链接
    https://docs.scrapy.org/en/latest/topics/commands.html
总结：在命令行的命令或者是参数都是不用加引号的，
　　  爬虫项目的settings配置文件添加配置时都变量名必须要大写，否则不识别

四 项目结构以及爬虫应用简介

project_name/
   scrapy.cfg
   project_name/
       __init__.py
       items.py
       pipelines.py
       settings.py
       spiders/
           __init__.py
           爬虫1.py
           爬虫2.py
           爬虫3.py

文件说明：

• scrapy.cfg  整个项目的主配置信息，用来部署scrapy时使用，爬虫相关的配置信息在settings.py文件中。
• items.py    设置数据存储模板，用于结构化数据，如：Django的Model
• pipelines    数据处理行为，如：一般结构化的数据持久化
• settings.py 配置文件，如：递归的层数、并发数，延迟下载等。强调:配置文件的选项必须大写否则视为无效，正确写法USER_AGENT='xxxx'
• spiders      爬虫目录，如：创建文件，编写爬虫规则

注意：一般创建爬虫文件时，以网站域名命名

import scrapy
 
class XiaoHuarSpider(scrapy.spiders.Spider):
    name = "xiaohuar"                            # 爬虫名称 *****
    allowed_domains = ["xiaohuar.com"]  # 允许爬取的域名
    start_urls = [
        "http://www.xiaohuar.com/hua/",   # 其实URL地址，该url地址是程序默认创建的，如果需要爬取该地址外的其他地址数据就需要自己处理请求参数，重新请求方法
    ]
    def parse(self, response):
        # 访问起始URL并获取结果后的回调函数

import sys,os
sys.stdout=io.TextIOWrapper(sys.stdout.buffer,encoding='gb18030')

五 Spiders

#在项目目录下新建：entrypoint.py
from scrapy.cmdline import execute
execute(['scrapy', 'crawl', 'xiaohua'])

强调：配置文件的选项必须是大写，如X='1'

# -*- coding: utf-8 -*-
import scrapy
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule
class BaiduSpider(CrawlSpider):
    name = 'xiaohua'
    allowed_domains = ['www.xiaohuar.com']
    start_urls = ['http://www.xiaohuar.com/v/']
    # download_delay = 1
    rules = (
        Rule(LinkExtractor(allow=r'p-d-d+.html$'), callback='parse_item',follow=True,),
    )

    def parse_item(self, response):
        if url:
            print('======下载视频==============================', url)
            yield scrapy.Request(url,callback=self.save)

    def save(self,response):
        print('======保存视频==============================',response.url,len(response.body))

        import time
        import hashlib
        m=hashlib.md5()
        m.update(str(time.time()).encode('utf-8'))
        m.update(response.url.encode('utf-8'))

        filename=r'E:\mv\%s.mp4' %m.hexdigest()
        with open(filename,'wb') as f:
            f.write(response.body)

https://docs.scrapy.org/en/latest/topics/spiders.html

六 Selectors

response.selector.css()
response.selector.xpath()
可简写为
response.css()
response.xpath()

　　1、查找标签
　　　　response.css('div a ')#通过标签名查找标签的内容
　　　　response.xpath('//body/a') #开头的//代表从整篇文档中寻找,body之后的/代表body的儿子
　　　　response.xpath('//body//a') #开头的//代表从整篇文档中寻找,body之后的//代表body的子子孙孙
　　　　总结：//与/的区别：儿子和后代的区别，但是得到的都是一个列表

　　2、查找标签下的内容（text方法）　　　　　　
　　　　response.css('div a::text')#先定位标签然后通过：：的方式查找标签的内容
　　　　response.xpath('//body//a/text()')

　　3、查找标签下的内容
　　　　extract与extract_first:从selector对象中解出内容
　　   response.xpath('//div/a/text()').extract()      #得到的是个解析后的内容，是个列表形式
　　　 response.xpath('//div/a/text()').extract_first()#得到的是个解析后的内容，是个字符串形式

　　4、查找标签下的属性：
　  　response.xpath('//div/a/@href').extract_first()   #得到的是标签的href属性，可以跟标签的任意属性xpath的属性加前缀@
     response.css('div a::attr(href)').extract_first()

　　5、嵌套查找加混合查找
　　　　response.xpath('//div').css('a').xpath('@href').extract_first()

　　6、设置查找默认值
　　　　response.xpath('//div[@id="xxx"]').extract_first(default="not found")#为了防止查找不到匹配的标签而设置默认值

　　7、按照标签属性查找
　　　　response.xpath('//div[@id="images"]/a[@href="image3.html"]/text()').extract()  #如果按照属性查找标签就必须加上中括号，再写匹配规则
　　　　response.css('#images a[@href="image3.html"]/text()').extract()

　　8、按照标签属性模糊查找
　　　　response.xpath('//a[contains(@href,"image")]/@href').extract()#如果按照标签属性模糊查找就必须加上contains（）方法，然后再在里面写匹配规则，匹配规则用逗号隔开
　　　　response.css('a[href*="image"]::attr(href)').extract()

　　　　response.xpath('//a[contains(@href,"image")]/img/@src').extract()
　　　　response.css('a[href*="imag"] img::attr(src)').extract()

　　　　response.xpath('//*[@href="image1.html"]')
　　　　response.css('*[href="image1.html"]')

　　9、正则表达式查找
　　　　response.xpath('//a/text()').re(r'Name: (.*)')
　　　　response.xpath('//a/text()').re_first(r'Name: (.*)')

　　10、xpath相对路径
　　　　　　>>> res=response.xpath('//a[contains(@href,"3")]')[0]
　　　　　　>>> res.xpath('img')
　　　　　　[<Selector xpath='img' data='<img src="image3_thumb.jpg">'>]
　　　　　　>>> res.xpath('./img')
　　　　　　[<Selector xpath='./img' data='<img src="image3_thumb.jpg">'>]
　　　　　　>>> res.xpath('.//img')
　　　　　　[<Selector xpath='.//img' data='<img src="image3_thumb.jpg">'>]
　　　　　　>>> res.xpath('//img') #这就是从头开始扫描

　　11、、带变量的xpath
　　　　response.xpath('//div[@id=$xxx]/a/text()',xxx='images').extract_first()#带变量查找
　　　　response.xpath('//div[count(a)=$yyy]/@id',yyy=5).extract_first() #求有5个a标签的div的id