《python3网络爬虫开发实战》--Scrapy

1. 架构

引擎(Scrapy)：用来处理整个系统的数据流处理, 触发事务(框架核心)
调度器(Scheduler)：用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时候返回. 可以想像成一个URL（抓取网页的网址或者说是链接）的优先队列, 由它来决定下一个要抓取的网址是什么, 同时去除重复的网址
下载器(Downloader)：用于下载网页内容, 并将网页内容返回给蜘蛛(Scrapy下载器是建立在twisted这个高效的异步模型上的)
爬虫(Spiders)：爬虫是主要干活的, 用于从特定的网页中提取自己需要的信息, 即所谓的实体(Item)。用户也可以从中提取出链接,让Scrapy继续抓取下一个页面
项目管道(Pipeline)：负责处理爬虫从网页中抽取的实体，主要的功能是持久化实体、验证实体的有效性、清除不需要的信息。当页面被爬虫解析后，将被发送到项目管道，并经过几个特定的次序处理数据。
下载器中间件(Downloader Middlewares)：位于Scrapy引擎和下载器之间的框架，主要是处理Scrapy引擎与下载器之间的请求及响应。
爬虫中间件(Spider Middlewares)：介于Scrapy引擎和爬虫之间的框架，主要工作是处理蜘蛛的响应输入和请求输出。
调度中间件(Scheduler Middewares)：介于Scrapy引擎和调度之间的中间件，从Scrapy引擎发送到调度的请求和响应。

2. 数据流

Scrapy 中的数据流由引擎控制：

(I) Engine首先打开一个网站，找到处理该网站的 Spider，并向该 Spider请求第一个要爬取的 URL。

(2)Engine从 Spider中获取到第一个要爬取的 URL，并通过 Scheduler以Request的形式调度。
(3) Engine 向 Scheduler请求下一个要爬取的 URL。
(4) Scheduler返回下一个要爬取的 URL给 Engine, Engine将 URL通过 DownloaderMiddJewares转发给 Downloader下载。

(5)一旦页面下载完毕， Downloader生成该页面的 Response，并将其通过 DownloaderMiddlewares发送给 Engine。

(6) Engine从下载器中接收到lResponse，并将其通过 SpiderMiddlewares发送给 Spider处理。

(7) Spider处理 Response，并返回爬取到的 Item及新的 Request给 Engine。
(8) Engine将 Spider返回的 Item 给 Item Pipeline，将新 的 Request给 Scheduler。

(9)重复第(2)步到第(8)步，直到 Scheduler中没有更多的 Request, Engine关闭该网站，爬取结束。

通过多个组件的相互协作、不同组件完成工作的不同、组件对异步处理的支持 ， Scrapy最大限度 地利用了网络带宽，大大提高了数据爬取和处理的效率 。

2. 实战

创建项目

scrapy startproject tutorial

创建Spider

cd tutorial

scrapy genspider quotes quotes.toscrape.com

创建Item

Item是保存爬取数据的容器，它的使用方法和字典类似。 不过，相比字典，Item多了额外的保护机制，可以避免拼写错误或者定义字段错误 。

创建 Item 需要继承 scrapy.Item类，并且定义类型为 scrapy.Field 的字段 。 观察目标网站，我们可以获取到到内容有 text、 author、 tags。

使用Item

items.py

import scrapy


class TutorialItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    text = scrapy.Field()
    author = scrapy.Field()
    tags = scrapy.Field()

quotes.py

# -*- coding: utf-8 -*-
import scrapy

from tutorial.items import TutorialItem


class QuotesSpider(scrapy.Spider):
    name = "quotes"
    allowed_domains = ["quotes.toscrape.com"]
    start_urls = ['http://quotes.toscrape.com/']

    def parse(self, response):
        quotes = response.css('.quote')
        for quote in quotes:
            item = TutorialItem()
            item['text'] = quote.css('.text::text').extract_first()
            item['author'] = quote.css('.author::text').extract_first()
            item['tags'] = quote.css('.tags .tag::text').extract()
            yield item

        next = response.css('.pager .next a::attr(href)').extract_first()
        url = response.urljoin(next)
        yield scrapy.Request(url=url, callback=self.parse)

scrapy crawl quotes -o quotes.json
scrapy crawl quotes -o quotes .csv
scrapy crawl quotes -o quotes.xml
scrapy crawl quotes -o quotes.pickle
scrapy crawl quotes -o quotes.marshal
scrapy crawl quotes -o ftp://user:pass@ftp.example.com/path/to/quotes.csv

3. 使用Item Pipeline

Item Pipeline为项目管道 。 当 Item生成后，它会自动被送到 ItemPipeline进行处理，我们常用 ItemPipeline来做如下操作 。

清理 HTML数据。
验证爬取数据，检查爬取字段。

查重井丢弃重复内容。
将爬取结果保存到数据库。

定义一个类并实现 process_item()方法即可。启用 ItemPipeline后，Item Pipeline会自动调用这个方法。 process_item()方法必须返回包含数据的字典或 Item对象，或者抛出 Dropltem异常。

process_item()方法有两个参数。 一个参数是 item，每次 Spider生成的 Item都会作为参数传递过来。 另一个参数是 spider，就是 Spider的实例。

修改项目里面的pipelines.py

# -*- coding: utf-8 -*-

# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: https://doc.scrapy.org/en/latest/topics/item-pipeline.html

from scrapy.exceptions import DropItem
import pymongo

class TextPipeline(object):
    def __init__(self):
        self.limit = 50

    def process_item(self, item, spider):
        if item['text']:
            if len(item['text']) > self.limit:
                item['text'] = item['text'][0:self.limit].rstrip() + '...'
            return item
        else:
            return DropItem('Missing Text')

class MongoPipeline(object):
    def __init__(self, mongo_uri, mongo_db):
        self.mongo_uri = mongo_uri
        self.mongo_db = mongo_db

    @classmethod
    def from_crawler(cls, crawler):
        return cls(
            mongo_uri=crawler.settings.get('MONGO_URI'),
            mongo_db=crawler.settings.get('MONGO_DB')
        )

    def open_spider(self, spider):
        self.client = pymongo.MongoClient(self.mongo_uri)
        self.db = self.client[self.mongo_db]

    def process_item(self, item, spider):
        name = item.__class__.__name__
        self.db[name].insert(dict(item))
        return item

    def close_spider(self, spider):
        self.client.close()

seetings.py

# -*- coding: utf-8 -*-

# Scrapy settings for tutorial project
#
# For simplicity, this file contains only settings considered important or
# commonly used. You can find more settings consulting the documentation:
#
#     https://doc.scrapy.org/en/latest/topics/settings.html
#     https://doc.scrapy.org/en/latest/topics/downloader-middleware.html
#     https://doc.scrapy.org/en/latest/topics/spider-middleware.html

BOT_NAME = 'tutorial'

SPIDER_MODULES = ['tutorial.spiders']
NEWSPIDER_MODULE = 'tutorial.spiders'


# Crawl responsibly by identifying yourself (and your website) on the user-agent
#USER_AGENT = 'tutorial (+http://www.yourdomain.com)'

# Obey robots.txt rules
ROBOTSTXT_OBEY = True

# Configure maximum concurrent requests performed by Scrapy (default: 16)
#CONCURRENT_REQUESTS = 32

# Configure a delay for requests for the same website (default: 0)
# See https://doc.scrapy.org/en/latest/topics/settings.html#download-delay
# See also autothrottle settings and docs
#DOWNLOAD_DELAY = 3
# The download delay setting will honor only one of:
#CONCURRENT_REQUESTS_PER_DOMAIN = 16
#CONCURRENT_REQUESTS_PER_IP = 16

# Disable cookies (enabled by default)
#COOKIES_ENABLED = False

# Disable Telnet Console (enabled by default)
#TELNETCONSOLE_ENABLED = False

# Override the default request headers:
#DEFAULT_REQUEST_HEADERS = {
#   'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
#   'Accept-Language': 'en',
#}

# Enable or disable spider middlewares
# See https://doc.scrapy.org/en/latest/topics/spider-middleware.html
#SPIDER_MIDDLEWARES = {
#    'tutorial.middlewares.TutorialSpiderMiddleware': 543,
#}

# Enable or disable downloader middlewares
# See https://doc.scrapy.org/en/latest/topics/downloader-middleware.html
#DOWNLOADER_MIDDLEWARES = {
#    'tutorial.middlewares.TutorialDownloaderMiddleware': 543,
#}

# Enable or disable extensions
# See https://doc.scrapy.org/en/latest/topics/extensions.html
#EXTENSIONS = {
#    'scrapy.extensions.telnet.TelnetConsole': None,
#}

# Configure item pipelines
# See https://doc.scrapy.org/en/latest/topics/item-pipeline.html
ITEM_PIPELINES = {
    'tutorial.pipelines.TextPipeline': 300,
    'tutorial.pipelines.MongoPipeline': 400,
}

# Enable and configure the AutoThrottle extension (disabled by default)
# See https://doc.scrapy.org/en/latest/topics/autothrottle.html
#AUTOTHROTTLE_ENABLED = True
# The initial download delay
#AUTOTHROTTLE_START_DELAY = 5
# The maximum download delay to be set in case of high latencies
#AUTOTHROTTLE_MAX_DELAY = 60
# The average number of requests Scrapy should be sending in parallel to
# each remote server
#AUTOTHROTTLE_TARGET_CONCURRENCY = 1.0
# Enable showing throttling stats for every response received:
#AUTOTHROTTLE_DEBUG = False

# Enable and configure HTTP caching (disabled by default)
# See https://doc.scrapy.org/en/latest/topics/downloader-middleware.html#httpcache-middleware-settings
#HTTPCACHE_ENABLED = True
#HTTPCACHE_EXPIRATION_SECS = 0
#HTTPCACHE_DIR = 'httpcache'
#HTTPCACHE_IGNORE_HTTP_CODES = []
#HTTPCACHE_STORAGE = 'scrapy.extensions.httpcache.FilesystemCacheStorage'

MONGO_URI='localhost'
MONGO_DB='tutorial'

4. Selector的用法

Selector是一个可以独立使用的模块。我们可以直接利用 Selector这个类来构建一个选择器对象，然后调用它的相关方法如 xpath()、 css()等来提取数据。

5.XPath选择器

response 有一个属性 selector，我们调用 response.selector 返回的内容就相当于用 response 的body构造了一个 Selector对象。 通过这个 Selector对象我们可以调用解析方法如 xpath()、 css()等，通过向方法传入 XPath或 css选择器参数就可以实现信息的提取。

6.CSS选择器

7.正则匹配

8.spider的用法

spider的运行流程：

口 定义爬取网站的动作;

口 分析爬取下来的网页。
对于 Spider类来说，整个爬取循环过程如下所述。

口 以初始的 URL初始化 Request，并设置回调函数。 当该 Request成功请求并返回时， Response生成井作为参数传给该回调函数 。

口 在回调函数内分析返回的网页内容 。 返回结果有两种形式 。 一种是解析到的有效结果返回 字典或 Item对象，它们可以经过处理后(或直接)保存。 另一种是解析得到下一个(如下一页)链接，可以 利用此链接构造 Request并设置新的回调函数，返回 Request等待后续调度 。

口 如果返回的是字典或 Item 对象，我们可通过 Feed Exports 等组件将退回结果存入到文件 。 如果设置了 Pipeline的话，我们可以使用 Pipeline处理 (如过滤、修正等)并保存。

口 如果返回的是 Reqeust，那么 Request 执行成功得到 Response 之后， Response 会被传递给Request 中定义的回调函数，在回调函数中我们可以再次使用选择器来分析新得到的网页内 容，并根据分析的数据生成 Item。

spider类分析：

口 name。 爬虫名称，是定义 Spider名字的字符串。 Spider的名字定义了 Scrapy如何定位并初始 化 Spider，它必须是唯 一 的 。 不过我们可以生成多个相同的 Spider 实例，数量没有限制 。 name是 Spider最重要的属性。 如果 Spider~取单个网站， 一个常见的做法是以该网站的域名 名称来命名 Spider。 例如， SpiderJI巳取 mywebsite.com ， 该 Spider通常会被命名为 mywebsite。
口 allowed_domains。 允许爬取的域名，是可选配置，不在此范围的链接不会被跟进爬取。
口 start_urls。 它是起始 URL 列表，当我们没有实现 start_requests()方法时，默认会从这个
列表开始抓取 。
口 custom_settings。 它是一个字典，是专属于本 Spider 的配置，此设置会覆盖项目全局的设
置。 此设置必须在初始化前被更新，必须定义成类变量。
口 crawler。 它是由 from_crawler()方法设置的，代表的是本 Spider 类对应的 Crawler 对象 。
Crawler对象包含了很多项目组件，利用它我们可以获取项目的一些配置信息，如最常见的获
取项目的设置信息，即 Settings。
0 settings。 它是一个 Settings对象，利用它我们可以直接获取项目的全局设置变量 。
除了基础属性， Spider还有 一些常用的方法 。
口 start_requests()。 此方法用于生成初始请求，它必须返回 一个可迭代对象 。 此方法会默认 使用 start_urls里面的 URL来构造 Request，而且 Request是 GET请求方式。 如果我们想在启 动时以 POST方式访问某个站点，可以直接重写这个方法，发送 POST请求时使用 FormRequest 即可。
口 parse()。 当 Response没有指定回调函数时，该方法会默认被调用 。 它负责处理 Response， 处 理返回结果，并从巾提取Hi想要的数据和下一步的请求，然后返回。 该方法需要返回一个包 含 Request或 ltem的可迭代对象。
口 closed()。 当 Spider 关闭时，该方法会被调用，在这里-般会定义释放资源的一些操作或其 他收尾操作 。