二十三、Scrapy的extensions

Scrapy提供扩展（扩展是正常的python类，它们会在Scrapy启动时被实例化、初始化）机制，让人能将自定义功能绑定到Scrapy中。

1、Scrapy中的内置扩展设置EXTENSIONS_BASE

　　扩展在扩展类被实例化时加载和激活，实例化代码必须在类的构造函数（__init__）中执行。

　　（1）'scrapy.extensions.corestats.CoreStats':0

　　　　名称：核心统计扩展

　　　　说明：如果统计收集器（stats collection)启用了，该扩展开启核心统计收集

　　（2）'scrapy.telnet.TelnetConsole':0

　　　　名称：Telnet控制台扩展

　　　　说明：提供了一个telnet控制台，telnet控制台通过TELNETCONSOLE_ENABLED配置项开启，服务器会监听TELNETCONSOLE_PORT指定的端口

　　（3）'scrapy.extensions.memusage.MemoryUsage':0

　　　　名称：内存使用扩展

　　　　说明：监听Scrapy进程内存使用量，如果使用内存量超过某个指定值，发送提醒邮件，如果超过某个指定值，关闭spider

　　（4）'scrapy.extensions.memdebug.MemoryDebugger':0

　　　　名称：内存调试扩展

　　　　说明：该扩展用于调试内存使用量，开启该扩展，需要打开MEMDEBUG_ENABLED配置项

　　（5）'scrapy.extensions.closespider.CloseSpider':0

　　　　名称：当某些状况发生，spider会自动关闭，用来为状况指定关闭方式

　　（6）'scrapy.extensions.feedexport.FeedExporter':0

　　（7）'scrapy.extensions.logstats.LogStats':0

　　　　名称：记录统计扩展

　　　　说明：记录基本的统计信息，比如爬取的页面和条目（items）

　　（8）‘scrapy.extensions.spiderstate.SpiderState’:0

　　（9）‘scrapy.extensions.throttle.AutoThrottle’:0

　　（10）‘scrapy.extensions.statsmailer.StatsMailer’：0

　　　　名称：StatsMailer扩展

　　　　说明：这个简单的扩展可用来在一个域名爬取完毕时发送提醒邮件，包含Scrapy收集的统计信息。邮件会发送给通过STATSMAILER_RCPTS指定的所有接收人

　　扩展一般分为三种状态：可用的（Available）、开启的（enabled）和禁用的（disabled）。一些扩展经常需要依赖一些特别的配置，比如HTTP Cache扩展是可用的但默认是禁用的,除非设置了HTTPCACHE_ENABLED配置项。通过将其顺序设置为None，即可禁用。

2、定制扩展

　　扩展类是一个Python类，如果想操作Scrapy的功能，需要一个入口：from_crawler类方法，它接收一个Crawler类的实例，通过这个对象可以访问settings(设置)、signals(信号)、stats(状态)，以便控制爬虫的行为。

　　2.1 Scrapy提供的异常及其用法

　　（1）DropItem异常

　　　　原型：scrapy.exceptions.DropItem

　　　　说明：该异常由item pipeline抛出，用于停止处理item

　　（2）CloseSpider异常

　　　　原型：scrapy.exceptions.CloseSpider(reason='cancelled')

　　　　说明：该异常由spider的回调函数（callback)抛出，来停止/暂停spider。支持的参数：reason(str):关闭的原因

　　（3）IgnoreRequest异常

　　　　原型：scrapy.exceptions.IgnoreRequest

　　　　说明：该异常由调度器（scheduler）或其他下载器中间件抛出，声明忽略该request

　　（4）NotConfigured异常

　　　　原型：scrapy.exceptions.NotConfigured

　　　　说明：该异常由某些组件抛出，申明其仍然保持关闭。这些组件包括：Extensions、Item pipelines、Downloader middlwares、Spider middlewares。该异常必须由组件的构造器(constructor)抛出。

　　（5）NotSupported异常

　　　　原型：scrapy.exceptions.NotSupported

　　　　说明：该异常申明一个不支持的特性

　　2.2 Scrapy内置的信号

　　（1）engine_started

　　　　原型：scrapy.signals.engine_started()

　　　　说明：当Scrapy引擎启动爬取时发送该信号，该信号支持返回deferreds

　　（2）engine_stopped

　　　　原型：scrapy.signals.engine_stopped()

　　　　说明：当Scrapy引擎停止时发送该信号，例如爬取结束，该信号支持返回deferreds

　　（3）item_scraped

　　　　原型：scrapy.signals.item_scraped(item,response,spider)

　　　　参数：item(dict或Item对象)：爬取到的item

　　　　　　　spider(Spider对象):爬取item的spider

　　　　　　　response(Response对象)：提取item的response

　　　　说明：当item被爬取，并通过所有Item Pipeline后（没有被丢弃dropped），发送该信号。该信号支持返回deferreds

　　（4）item_dropped

　　　　原型：scrapy.signals.item_dropped(item,exception,spider)

　　　　参数：item(dict或Item对象):Item Pipeline丢弃的item

　　　　　　　spider(Spider对象):爬取item的spider

　　　　　　　exception(DropItem异常):导致item被丢弃的异常

　　　　说明：当item通过Item Pipeline，有些pipeline抛出DropItem异常，丢弃Item时，该信号被发送。该信号支持返回deferreds

　　（5） spider_closed

　　　　原型：scrapy.signals.spider_closed(spider,reason)

　　　　参数：spider(Spider对象):关闭的spider

　　　　　　　reason(str):描述Spider被关闭的原因的字符串。如果Spider是由于完成爬取而被关闭，则其为”finished“。否则，如果Spider是被引擎的close_spider方法所关闭，则其为调用该方法时传入的reason参数（默认为”cancelled“）。如果引擎被关闭（如输入ctrl+c），则其为shutdown

　　　　说明：当某个Spider被关闭时，该信号被发送，该信号可以用来释放每个Spider在spider_opened时占用的资源。该信号支持返回deferreds

　　（6）spider_opened

　　　　原型：scrapy.signals.spider_opened(spider)

　　　　参数：spider(Spider对象):开启的spider

　　　　说明：当spider开始爬取时发送该信号，该信号一般用来分配Spider的资源，不过它也能做任何事情。该信号支持返回deferreds

　　（7）spider_idle

　　　　原型：scrapy.signals.spider_idle(spider)

　　　　参数：spider(Spider对象):空闲的Spider

　　　　说明：当Spider进入空闲(idle)状态时该信号被发送。空闲说明：1）Requests正在等待被下载。2）Request被调度。3）Items正在Item Pipeline中被处理

　　　　　　　当该信号的所有处理器（handler）被调用后，如果spider仍然保持空闲状态，引擎将会关闭该spider。当spider被关闭后，spider_closed信号将被发送，可以在spider_idle处理器中调度某些请求来避免spider被关闭。

　　　　　　　该信号不支持返回deferreds

　　（8）spider_error

　　　　原型：scrapy.signals.spider_error(failure,response,spider)

　　　　参数：failure(Failure对象):以Twisted Failure对象抛出的异常

　　　　　　　response(Response对象):当异常被抛出时被处理的response

　　　　　　　spider(Spider对象):抛出异常的Spider

　　　　说明：当Spider的回调函数产生错误时，例如抛出异常，该信号被发送

　　（9）request_scheduled

　　　　原型：scrapy.signals.request_scheduled(request,spider)

　　　　参数：request(Request对象):到达调度器的Request

　　　　　　　spider(Spider对象):产生该Request的Spider

　　　　说明：当引擎调度一个Request对象用于下载时，该信号被发送，该信号不支持返回deferreds

　　（10）response_received

　　　　原型：scrapy.signals.response_received(response,request,spider)

　　　　参数：response(Request对象)：接收到的resposne

　　　　　　　request(Request对象)：生成response的request

　　　　　　　spider(Spider对象)：response所对应的spider

　　　　说明：当引擎从downloader获取到一个新的Response时发送该信号，该信号不支持返回deferreds

　　（11）response_downloaded

　　　　原型：scrapy.signals.response_downloaded(response,request,spider)

　　　　参数：response(Response对象)：下载的response

　　　　　　　request(Request对象)：生成的response的request

　　　　　　　spider(Spider对象)：response所对应的 spider

　　　　说明：当一个HTTPResponse被下载时，由downloader发送该信号，该信号不支持返回deferreds

　　2.3 扩展代码

　　　　　　代码来自：《Python爬虫开发与项目实战》范传辉著

　　　　　　扩展需要关联到signals并执行它们触发的任务，如果from_crawler()方法抛出NotConfigured异常，扩展会被禁用，否则，扩展会被开启。

import logging
from scrapy import signals
from scrapy import crawler
from scrapy.exceptions import NotConfigured

logger = logging.getLogger(__name__)

class SpiderOpenCloseLogging(object):
    """当出现（spider被打开，spider被关闭,爬取了特定数量的Item）事件时，记录一条日志"""
    def __init__(self,item_count):
        self.item_count = item_count
        self.items_scraped = 0

    @classmethod
    def from_crawler(cls, crawler):
        # 首先检查一下是否存在响应的配置，如果不存在则抛出NotConfigured异常
        if not crawler.settings.getbool("MYEXT_ENABLED"):
            raise NotConfigured
        # 从setting中获取MYEXT_ITEMCOUNT的值
        item_count = crawler.settings.getint("MYEXT_ITEMCOUNT",1000)
        # 初始化扩展实例
        ext = cls(item_count)
        # 将扩展中的spider_opened、spider_closed和item_scraped连接到相应信号处，进行触发
        crawler.signals.connect(ext.spider_opened,signal=signals.spider_opened)
        crawler.signals.connect(ext.spider_closed, signal=signals.spider_closed)
        crawler.signals.connect(ext.item_scraped, signal=signals.item_scraped)
        # 扩展实例返回
        return ext

    def spider_opened(self,spider):
        logger.info("opened spiders %s",spider.name)

    def spider_closed(self,spider):
        logger.info("closed spiders %s",spider.name)

    def item_scraped(self,item,spider):
        self.items_scraped += 1
        if self.items_scraped % self.item_count == 0:
            logger.info("scraped %d items", self.items_scraped)