第四章——scrapy爬虫

来自Scrapy 网络爬虫实战的阅读笔记
更多细节可看官网

编写爬虫

scrapy基本类组件说明
scrapy中的Selector选择器
Scrapy通用爬虫介绍与使用

Scrapy爬虫的主要实现

Scrapy主要通过Spider类来实现爬虫的相关功能，通俗来讲，Spider类定义了爬取某个或某些网站的规则，包括爬取数据和提取数据。

Spider循环爬取步骤如下：

1.通过start_requests()以start_urls中的URL初始化Request,下载完毕后返回Response,作为参数传给回调函数parse。
2.使用parse函数分析Response，可以返回Item对象、dict、Request或一个包含三者的可迭代容器。其中，Request可以经过Scrapy继续下载内容，调用设置的回调函数。
3.在parse函数内使用Selector分析Response，提取相应的数据。

scrapy.Spider爬虫基本类

编写爬虫的脚本(spiders文件夹下)是通过继承scrapy.Spide类来实现的，每个其他的Spider必须继承自该类（包括Scrapy自带的其他Spider以及自定义编写的Spider)。Spider类没有提供什么特殊的功能，仅仅提供了start_requests()的默认实现，读取并请求Spider属性中的start_urls，并根据返回的结果(Resulting Responses)调用Spider的parse方法。

Spider类常用属性(也就是spiders文件夹下的爬虫脚本)

name
name属性是必须且唯一的，其定义了Spider的名字，而Scrapy通过Spider的名字来定位并初始化Spider
allow_domain
该属性可选，其包含允许Spider爬取的域名列表。当中间件OffsiteMiddleWare启用时，将不会跟进不再列表中的域名
start_urls
是一个URL列表列表，当没有指定特定URL时，Spider将从该列表中开始获取页面数据，后续的URL将从获取的数据中提取。
custom_settings
该属性可选，是一个dict。当Spider启动时，会覆盖项目的设置，由于设置必须在初始化前被更新，因此必须设定为class属性。（疑惑）反正这个不常用

实例spider脚本文件(现在就是弄不懂script的终端的那一堆输出)

# import scrapy
from scrapy.spiders import CrawlSpider, Rule
from scrapy.linkextractors import LinkExtractor


class Quotes(CrawlSpider):
	# 爬虫名称
    name = "get_quotes"
    allow_domain = ['quotes.toscrape.com']
    start_urls = ['http://quotes.toscrape.com/']

# 设定规则
    rules = (
        # 对于quotes内容页URL，调用parse_quotes处理，
      		# 并以此规则跟进获取的链接；前面是对应url规则，后面是提取返回响应的相关数据
            # 这些爬取的都是根路由之后的规则
        Rule(LinkExtractor(allow=r'/page/d+'), callback='parse_quotes', follow=True),
      		# 对于author内容页URL，调用parse_author处理，提取数据
        Rule(LinkExtractor(allow=r'/author/w+'), callback='parse_author')
    )

# 提取内容页数据方法
    def parse_quotes(self, response):
        for quote in response.css(".quote"):
            # 这里使用extract_first()就是确保返回的是字符串把
            yield {'content': quote.css('.text::text').extract_first(), # 返回第一条数据内容
                   'author': quote.css('.author::text').extract_first(), # 返回第一条该作者
                   'tags': quote.css('.tag::text').extract() # 返回该标签
                   }
	# 获取作者数据方法

    def parse_author(self, response):
        name = response.css('.author-title::text').extract_first()
        author_born_date = response.css('.author-born-date::text').extract_first()
        author_bron_location = response.css('.author-born-location::text').extract_first()
        author_description = response.css('.author-description::text').extract_first()

        return ({'name': name,
                 'author_bron_date': author_born_date,
                 'author_bron_location': author_bron_location,
                 'author_description': author_description
                 })

从上面实例中我们可以提取出来的东西

parse(response)方法的基本写法;也就是上方的parse_quotes()和parse_author()等函数;这个名字可以自行取，但是去了之后一定要在rules中的callback=xxx来调用它
parse(response)方法也是Scrapy默认回调方法，若我们并没有在生成的Request之后指定回调函数，他也会默认调用框架自带的parse()函数（虽然我不知道该函数在框架中的源码位置）
该函数主要负责处理Response，返回抓取的数据，或者跟进的URL。该方法必须返回可迭代的Request、dist或Item对象
基本写法如下

def parse(self, response):
      for quote in response.css(".quote"):
          yield {'content': quote.css('.text::text').extract_first(),
                 'author': quote.css('.author::text').extract_first(),
                 'tags': quote.css('.tag::text').extract()
                 }

Selector选择器

Scrapy通过实现一套构建于lxml库上名为选择器(Selector)的机制来提取数据，主要通过特定的Xpath或者css表达式来选择html文件中的某个指定部分。
选择器列表不一定是列表，还有可能时字符串等数据格式
1.XPath:传入XPath表达式，返回表达式对应节点的选择器列表
2.css:传入CSS表达式，但会表达式对应节点的选择器列表(这里注意获取文本和属性使用的与常用的css表达式不太相同
a::text()/加了括号就必须是键值对形式的数据； a::attr())** 这种加了::的方式就是提取相应的属性**
3.extract:以列表形式返回被选择元素的Unicode字符串。通常被用来提取数据，extract_first()返回第一条数据
4.re():返回通过正则表达式提取的Unicode字符串列表。re_first('re正则表达式')返回第一条数据

通用爬虫

CrawlSpider

是抓取网站常用的Spider,他提供了一个通过指定一些规则来达到跟进链接的方便机制。
这些规则也就是rules属性，他是一个或一组Rule对象，必须写成tuple形式。
每一个Rule对象定义了对目标网站的爬取行为，如果有多个Rule对象匹配了同一个链接，就说明第一个Rule会失效。

爬行规则

classscrapy.spiders.Rule(link_extractor=None, callback=None, cb_kwargs=None, follow=None, process_links=None, process_request=None, errback=None)[源代码]¶
link_extractor 是一种 Link Extractor 对象，该对象定义如何从每个爬网页面提取链接。每个生成的链接将用于生成 Request 对象，该对象将在其 meta 词典(在 link_text 密钥)。如果省略，将使用不带参数创建的默认链接提取器，从而提取所有链接。
callback 是要为使用指定链接提取器提取的每个链接调用的可调用或字符串(在这种情况下，将使用来自具有该名称的爬行器对象的方法)。此回调接收一个 Response 作为其第一个参数，并且必须返回单个实例或 item objects 和/或 Request 对象(或其任何子类)。如上所述，收到的 Response 对象将包含生成 Request 在ITS中 meta 词典(在 link_text 密钥)

cb_kwargs 是包含要传递给回调函数的关键字参数的dict。

follow 是一个布尔值，用于指定是否从使用此规则提取的每个响应中遵循链接。如果 callback 没有 follow 默认为 True ，否则默认为 False .

process_links 是一个可调用的，或一个字符串（在这种情况下，将使用具有该名称的蜘蛛对象中的方法），对于使用指定的 link_extractor . 这主要用于过滤目的。

process_request 是一个可调用的(或字符串，在这种情况下，将使用来自具有该名称的爬行器对象的方法)，它将在 Request 按此规则提取。此可调用对象应将上述请求作为第一个参数，并且 Response 作为第二个参数从其发出请求。它必须返回一个 Request 对象或 None (用过滤发出请求)。

errback 在处理规则生成的请求时引发任何异常时要调用的可调用或字符串（在这种情况下，将使用来自spider对象的具有该名称的方法）。它收到一个 Twisted Failure 实例作为第一个参数。

XMLFeedSpider

主要用于RSS源订阅内容的抓取。RSS源是基于XML的一种信息聚合技术。在XML文件中，item称为一个node节点。
迭代器可以从以下选项中选择： iternodes ， xml 和 html . 建议使用 iternodes 由于性能原因，迭代器 xml 和 html 迭代器一次生成整个DOM以便解析它。然而，使用 html 因为迭代器在分析带有错误标记的XML时可能很有用。
要设置迭代器和标记名，必须定义以下类属性：

XMLFeedSpider中的一些属性

iterator:指定迭代器，迭代器主要用于分析数据RSS订阅源。
可用的迭代器有：
iternodes:性能高，基于正则表达式，是默认的迭代器，在属性中不指定的话就默认是他
html：使用Selector加载所有DOM结构进行分析，当数据量大是就会产生性能问题，有点事处理不合理标签是比较有用。
xml:同html一样使用Selector进行分析，同样有性能问题
itertag：指定需要迭代的节点
namespaces:以元组形式组成的列表，定义了Spider处理文档时可用的命名空间。（这个属性有啥用）

XMLFeedspider同样具有可复写的方法

adapt_response(response):此方法在处理分析Response之前被调用，可用于修改Response的内容。此方法返回类型为Response。
parse_node(response,selector):当匹配到节点时，调用此方法进行数据处理。很重要的一点就是此方法必须复写，否则爬虫不会正常工作。该方法必须返回一个Item、Request，或者一个包含Item或Request的迭代器。
process_result(response,result):当爬虫返回抓取结果时调用此方法。多用于在抓取结果传递给框架核心处理前做最好的修改。该方法必须接收一个结果列表和产生这些结果的Response，返回一个包含Item或Request的就跟列表。

实例

1.使用XMLFeedSpider模板创建爬虫(这是创建爬虫文件，之间爬虫项目已经创建)

scrapy genspider -t xmlfeed jobbole jobbole.com

2.使用Item收集数据，修改items.py文件

import scrapy
class JobboleItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    # 文章标题
    title = scrapy.Field()
    # 发表日期
    public_date = scrapy.Field()
    # 文章链接
    link = scrapy.Field()

3.jobbole.py文件编写(具体爬虫文件)

# -*- coding: utf-8 -*-
from scrapy.spiders import XMLFeedSpider
# 导入item
from xmlfeedspider.items import JobboleItem


class JobboleSpider(XMLFeedSpider):
    name = 'jobbole'
    allowed_domains = ['jobbole.com']
    start_urls = ['http://top.jobbole.com/feed/']
    iterator = 'iternodes'  # 迭代器，不指定的话默认是iternodes
    itertag = 'item'  # 抓取item节点

    def parse_node(self, response, selector):
        item = JobboleItem() # items.py中的类实例化
        # 字典的值均在JobboleItem()类中定义，大部分类型为scrapy.Field()
        item['title'] = selector.css('title::text').extract_first()
        item['public_date'] = selector.css('pubDate::text').extract_first()
        item['link'] = selector.css('link::text').extract_first()
        return item

4.修改settings.py的配置

ROBOTSTXT_OBEY = False 

CSVFeedSpider

他是每行迭代，而XMLfeedSpider是根据节点来迭代数据。类似的，每行迭代调用的是parse_row()方法。

常用的属性方法如下

delimiter:字段分隔符，默认是英文逗号','
quotechar:CSV字段中如果包含回车、引号、逗号，那么此字段必须用双引号引起来，默认是半角双引号。
headers:CSV文件的标题头，该属性是一个列表
parse_row(response,row):对每一行数据进行处理，接收一个由Response、一个文件标题头组成的字典。

实例

使用Item收集数据，修改items.py文件

import scrapy


class CsvspiderItem(scrapy.Item):
    # define the fields for your item here like:
    # 姓名
    name = scrapy.Field()
    # 研究领域
    SearchField = scrapy.Field()
    # 服务分类
    Service = scrapy.Field()
    # 专业特长
    Specialty = scrapy.Field()

具体爬虫文件
在控制台中yield输出之前都有[scrapy.core.scraper]

# -*- coding: utf-8 -*-
from scrapy.spiders import CSVFeedSpider
from csvfeedspider.items import CsvspiderItem


class CsvparseSpider(CSVFeedSpider):
    name = 'csvdata'
    allowed_domains = ['gzdata.gov.cn']
    start_urls = ['http://gzopen.oss-cn-guizhou-a.aliyuncs.com/科技特派员.csv']
    headers = ['name', 'SearchField', 'Service', 'Specialty']
    delimiter = ','
    quotechar = "
"

    # Do any adaptations you need here
    def adapt_response(self, response): # 特定的编码处理的函数
        print('我也没看过return怎么返回的', response.body.decode('gb18030'))
        return response.body.decode('gb18030') # 编码处理

    def parse_row(self, response, row):

        i = CsvspiderItem()
        try:
            i['name'] = row['name']
            i['SearchField'] = row['SearchField']
            i['Service'] = row['Service']
            i['Specialty'] = row['Specialty']

        except:
            pass
        # 在控制台中yield输出之前都有[scrapy.core.scraper]
        yield i # yield是输出，return我没看出打印在了控制台

SitemapSpider

允许通过Sitemap发现URL链接来爬取一个网站。
而Sitemap是包含网站所有网址以及每个网址的其他元数据，包括上次更新的时间、更改的频率以及相对于网站上其他网址的重要程度为何等。

常用属性

sitemap_urls:一个包含待爬取url的sitemap列表，也可以指定rebots.txt，表示从rebots.txt中提取url.
sitemap_rules:一个元组列表，形如(regex,callback)，其中：
reqex:表示需要从sitemap中提取的url的正则表达式，可以是一个字符串或者正则表达式对象
callback:式处理对应的url的回调方法，提取到对应链接时调用parse函数处理。需要注意的是，相同的链接只会调用第一个方法处理，并且如果此属性并未指定，那所有的链接默认使用parse方法处理。
sitemap_follow:一个指定需要跟进的sitemap的正则表达式列表。当使用Sitemap index files来指向其他sitemap文件的站点时此属性有效。默认情况下，所有的sitemap都会被根进。
sitemap_alternate_links:指定当一个url有可选的链接时是否跟进，有些网站url块内会提供备用网址。

实例

使用Item收集数据，修改items.py文件

# -*- coding: utf-8 -*-

# Define here the models for your scraped items
#
# See documentation in:
# https://doc.scrapy.org/en/latest/topics/items.html

import scrapy


class CnblogsItem(scrapy.Item):
    # define the fields for your item here like:
    # 文章标题
    title = scrapy.Field()
    # 文章url
    url = scrapy.Field()
    # 文章作者
    author = scrapy.Field()

编写爬虫脚本文件

from scrapy.spiders import SitemapSpider
from cnblogs.items import CnblogsItem

class MySpider(SitemapSpider):
    name = 'articles'
    # Sitemap 地址
    sitemap_urls = ['http://www.cnblogs.com/sitemap.xml']
    # 从Sitemap中提取url的规则，并指定回调方法
    sitemap_rules = [
        # 抓取 ***/cate/python/**的url，调用parse_python处理
        ('/cate/python/','parse_python')
    ]

    # 回调方法
    def parse_python(self,response):
        articles = response.css('.post_item')

        for article in articles:
            item = CnblogsItem()
            # 文章标题
            item['title'] = article.css('.titlelnk::text').extract_first()
            # 文章url
            item['url'] = article.css('.titlelnk::attr(href)').extract_first()
            # 文章作者
            item['author'] = article.css('.lightblue::text').extract_first()
            yield item

来自2021/12/13都此篇感受

这书上的没点基础可以说是完全会看不懂的，实例的举例太少了，还不如官网，虽然翻译成中文很撇脚。