scrapy框架

目录：

• 一 介绍
• 二 安装
• 三 命令集
• 四 项目结构以及应用
• 五 Spiders

一 介绍

        Scrapy一个开源和协作的框架，其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的，使用它可以以快速、简单、可扩展的方式从网站中提取所需的数据。但目前Scrapy的用途十分广泛，可用于如数据挖掘、监测和自动化测试等领域，也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。

    Scrapy 是基于twisted框架开发而来，twisted是一个流行的事件驱动的python网络框架。因此Scrapy使用了一种非阻塞（又名异步）的代码来实现并发。整体架构大致如下

框架组件

1. 引擎（EGINE)
1. 引擎负责控制系统是由组件之间的数据流，并在某些动作发生时触发事件
2. 调度器（SCHEDULER）
1. 用来接收引擎发送过来的请求，压入队列中，并在引擎再次请求的时间返回。可以想象出一个URLde 优先级队列，由它来决定下一个要抓取的网址是什么，同时去除重复的网址
3. 下载器（DOWNLOADER）
1. 用于下载网页内容，并将网页内容返回给EGINE。下载器是建立在twisted这个高效的异步模型上的。
4. 爬虫（SPIDERS）
1. SPIDERS是开发者自定义的类，用来解析response，并且提取items，或者发送新的请求
5. 项目管道（ITEMPIPELINES)
1. 用来处理item，主要包括清理、验证、持久化（比如存到数据库）等操作
6. 下载器中间件（Downloader Middleware)
1. 位于scrape引擎到下载器之间，主要用来处理从egine到downloader的请求request，和从Downloader到egine的响应response。可以在中间件做如下操作
1. 处理一个在发送到downloader之间的请求
2. 在发送到spider之前改变一个被接收的响应
3. 直接发送一个新请求，代替发送响应给spider
4. 如果没有查询到web页面，就不发送响应
5. 悄悄的删除一些请求
7. 爬虫中间件（Spider MIddleware)
1. 位于EGINE和SPIDERS之间，主要工作是处理SPIDERS的输入（即response）和输出（即requests)

官网链接：https://docs.scrapy.org/en/latest/topics/architecture.html

数据流

1. 引擎首先从spider获取一个初始请求爬行
2. 引擎通过SCHEDULER分配这个请求，并开始请求下一个请求去爬行
3. 调度器返回一个请求给引擎
4. 引擎通过中间件把请求发送给下载器
5. 当页面下载完毕之后，下载器会通过中间件把返回的响应发送给引擎
6. 引擎接收到响应之后，会通过中间件把响应发给spider去处理
7. spider会处理响应，并把爬取得items对象和新的请求通过中间件返回给引擎
8. 引擎则会把接收到的处理的items对象发送给项目管道，在发送被处理的请求给调度器看看有没有下一个请求过来
9. 重复过程1，直到调度器没有请求需求为止。

二 安装

#Windows平台
    1、pip3 install wheel #安装后，便支持通过wheel文件安装软件，wheel文件官网：https://www.lfd.uci.edu/~gohlke/pythonlibs
    3、pip3 install lxml
    4、pip3 install pyopenssl
    5、下载并安装pywin32：https://sourceforge.net/projects/pywin32/files/pywin32/
    6、下载twisted的wheel文件：http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
    7、执行pip3 install 下载目录Twisted-17.9.0-cp36-cp36m-win_amd64.whl
    8、pip3 install scrapy
  
#Linux平台
    1、pip3 install scrapy

三 命令集

# 1 帮助命令
scrapy -h
scrapy <command> -h

# 2 global命令
startproject    # 创建项目
genspider       # 创建爬虫程序
settings        # 如果是在项目目录下，则得到的是该项目的配置，否则是全局的配置
runspider       # 运行一个独立的python文件，不必创建项目
shell           # scrapy shell url 地址，在交互调试，如选择器规则正确与否
fetch           # 独立与线程单纯地爬取一个页面，可以拿到请求头
view            # 下载完毕后直接弹出浏览器，以此可以分辨出那些数据是ajax请求
version         # scrapy vewsion 查看scrapy版本，scrapy version -v查看scrapy依赖库的版本

# 3 项目命令（必须切换到项目文件下才能执行）
crawl           # 运行爬虫，必须创建项目，确保配置文件中ROBOTSTXT_OBEY = Fasle
check           # 检测项目中有无语法错误
list            # 列出项目中所包含的爬虫名
edit            # 编辑器，用来编辑文件使用，一般不用
parse           # scrapy parse url地址 -- callback 回调函数  # 以此可以验证我们的回调函数是否正确
bench           # scrapy bentch压力测试

#3 官网链接
    https://docs.scrapy.org/en/latest/topics/commands.html

#1、执行全局命令：请确保不在某个项目的目录下，排除受该项目配置的影响
scrapy startproject MyProject

cd MyProject
scrapy genspider baidu www.baidu.com

scrapy settings --get XXX #如果切换到项目目录下，看到的则是该项目的配置

scrapy runspider baidu.py

scrapy shell https://www.baidu.com
    response
    response.status
    response.body
    view(response)
    
scrapy view https://www.taobao.com #如果页面显示内容不全，不全的内容则是ajax请求实现的，以此快速定位问题

scrapy fetch --nolog --headers https://www.taobao.com

scrapy version #scrapy的版本

scrapy version -v #依赖库的版本


#2、执行项目命令：切到项目目录下
scrapy crawl baidu
scrapy check
scrapy list
scrapy parse http://quotes.toscrape.com/ --callback parse
scrapy bench

四 项目结构以及应用

1、结构

1.1 文件说明：

• scrapy.cfg    项目的主配置信息，用来部署scrapy时使用，爬虫相关的配置信息在settings.py文件中
• settings.py    配置文件，如：递归的层数、并发数。延迟下载等。变量名必须大写。
• pipelines.py    数据处理行为，如：一般结构化的数据持久化
• middlewares.py    中间件，用来在请求和响应的过程当中做一些操作
• items.py    设置数据存储模板，用于结构化数据，如：Django的model
• spiders    爬虫目录，如：创建文件，编写爬虫规则，lagou.py即是已经创建的一个爬虫规则

 

注意：一般创建爬虫文件时，以网站域名命名

2、 配置在pycharm中可以直接执行爬虫程序

# 在项目目录下新建：entrypoint.py
from scrapy.cmdline import execute

execute(['scrapy, 'crawl', 'xiaohuar'])

3、 关于windows编码问题

import sys, os

sys.stdout = io.TextIOWrapper(sys.stdout.buffer, encoding='gb18030')

五 Spiders

1、介绍

        Spider是由一系列类（定义了一个网站或一组网址将被爬取）组成，具体包括如何执行爬去任务并且如果从页面中提取结构化数据

也就是说，Spiders是我们为了一个特定的网址或一组网址自定义爬取和解析页面行为的地方。

 

2、Spiders任务

1. 生成初始的requests来爬取第一个urls，并且标识一个回调函数

        第一个请求定义在start_requests()方法内，默认从start_urls列表中获取url来生成request请求，默认的回调函数是parse方法，回调函数在下载完成返回response时自动触发

    2. 在回调函数中，解析response并且返回值

        返回值可以有4种：

                                    -> 包含解析数据的字典

                                    -> Item对象

                                    -> 新的Request对象（新的Requests也需要指定一个回调函数）

                                    -> 可迭代对象（包含Items或Request)

    3. 在回调函数中解析页面内容

        通常使用Scrapy自带的Seletors，但很明显你也可以使用Beautifulsoup， lxml或其他的模块去解析

    4. 最后，针对返回的items对象将会被持久化到数据库

        通过Item Pipeline组件存到数据库：

            https://docs.scrapy.org/en/latest/topics/item-pipeline.html#topics-item-pipeline
        或到处到不同的文件：

            （通过Feed exports：https://docs.scrapy.org/en/latest/topics/feed-exports.html#topics-feed-exports）

3、Spiders提供的五种类

# 1  scrapy.spiders.Spider  # scrapy.Spider等同于scrapy.spiders.Spider
# 2  scrapy.spiders.CrawSpider
# 3  scrapy.spiders.XMLFeedSpider
# 4  scrapy.spiders.CSVFeedSpider
# 5  scrapy.spiders.SitemapSpider

4、导入使用以及基本配置

from scrapy
from scrapy.spiders import Spider, CrawSpider, XMLFeedSpider, CSVFeedSpider, SitemapSpider

class AmazonSpider(scrapy.Spider):  # 自定义类，继承Spider提供的基类
    # class scrapy.spiders.Spider
    # 这是最简单的spider类，任何其他的spider类都需要继承它（包含你自己定义的）
    # 该类不提供任何特殊的功能，它仅提供了一个默认的start_requests方法，默认从start_urls中读取url地址发送requests请求，并且默认parse作为回调函数
    name = 'amazon'
    allowed_domains = ['www.amazon.cn']
    start_urls = ['http://www.amazon.cn/']
    
    # 自定制配置文件，会首先读取这个配置文件
    custom_settings = {
         'BOT_NAME' : 'Egon_Spider_Amazon',
        'REQUEST_HEADERS' : {
          'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
          'Accept-Language': 'en',
        }
    }
    
    def parse(self, response):
        pass

# 1、name='amazon'
定义爬虫名，scrapy会根据该值定位爬虫程序
所以它必须要有且必须唯一（In Python 2 this must be ASCII only）

# 2、allowed_domains = ['www.amazon.cn']
定义允许爬取得域名，如果offsiteMiddleware启动（默认就启动），
那么不属于该列表的域名及子域名都不允许爬取
如果爬去的网址为：https://www.example.com/1.html,那么就添加"example.com"到列表
    
# 3、start_urls = ['http://www.amazon.cn']
如果没有指定url,就从该列表中读取url来生成第一个请求

# 4、custom_settings
值为一个字典，定义一些配置信息，在运行爬虫程序时，这些配置覆盖项目级别的配置
所以custom_settings必须被定义成一个类属性，由于settings会在类实例化前被加载

# 5、settings
通过self.settings['配置项的名字']可以访问settings.py中的配置，如果定义了custom_settings还是以自己的为准

# 6、logger
日志名默认为spider的内容
self.logger.debug('==>%s' %self.settings['BOT_NAME'])

# 7、crawler
该属性必须被定义到类方法from_crawler中

# 8、from_crawler(crealer, *args, **kwargs)
You probably won’t need to override this directly  because the default implementation acts as a proxy to the __init__() method, calling it with the given arguments args and named arguments kwargs.

# 9、start_requests()
该方法用来发起第一个Requests请求，且必须返回一个可迭代的对象。它在爬虫程序打开时就被Scrapy调用，Scrapy只调用它一次。
默认从start_urls里取出每个url来生成Rquest(url, dont_filter=True)
如果你想要改变起始爬取得Requests，你就需要覆盖整个方法，例如你想要起始发送一个POST请求，如下:
class MySpider(scrapy.Spider):
    name = 'myspider'
    
    def start_requests(self):
        return [scrapy.FormRequest("http://www.example.com/login", formdata={"user": "join", "pass": "secret"}, callback=self.logged_in)]
    
    def logged_in(self, response):
        # here you would extract links to follow and return Requests for each of them, with another callback
        pass
    
# 10、parse(reqponse)
这个是默认的回调函数，所有的回调函数必须返回an iteranle of Request and/or dicts or Item objects.

# 11、log(message[, level, component])
Wrapper that sends a log message through the Spider's logger,  kept for backwards compatibility.
For more information see Logging from Spiders

# 12、closed(reason)
爬虫程序结束时自动触发

去重规则应该多个爬虫共享，但凡一个爬虫爬取了，其他都不要爬了

# 方法一：
1、新增类属性
visited = set()  # 类属性

2、回调函数parse方法内
def parse(self, response):
    if rsponse.url in self.visited:
        return None
    ...
    self.visited.add(response.url)
    
# 方法一改进：针对url可能过长，所以我们存放url的hash值
def parse(self, response):
    url = md5(response.request.url)
    if url in self.visited:
        return None
    ...
    self.visited.add(url)
    
 
# 方法二：Scrapy自带去重功能
配置文件：
DUPEFILTER_CLASS = 'scrapy.dupefilter.RFPDupeFilter'  # 默认的去重规则，组重规则在内存中
DUPEFILTER_DEBUG = False
JOBDIR = '保存范文记录的日志路径，如：/root/'  # 最终路径为/root/requests.seen,去重规则放文件中

scrapy自带去重规则默认为RFPDupeFilter，只需要我们指定
Request(..., dont_filter=False), 如果dont_filter=True则告诉scrapy这个rul不参与去重


# 方法三：我们可以仿照RFPDupeFilter自定义去重规则
from scrapy.dupefilter import RFPDupeFilter  # 看源码，仿照BaseDupeFilter
# 步骤1：在项目目录下自定义去重文件dup.py
class UrlFilter(object):
    def __init__(self):
        self.visited = set()  # 或者放到数据库
        
    @classmethod
    def from_settings(cls, settings):
        return cls()
    def request_seen(self, request):
        if request.url in self.visited:
            return True
        self.visited.add(request.url)
        
    def open(self): # can return deferred
        pass
    
    def close(self, reason):  # can return a deferred
        pass
    
    def log(self, request, spider):  # log that a request has been filtered
        pass
    
# 步骤二：配置文件settings.py
DUPEFILTER_CLASS = "项目名.dup.UrlFilter"

# 源码分析
from scrapy.core.scheduler import Scheduler
# 见Scheduler下的enqueue_request方法：self.df.request_seen(request)

import scrapy

class MySpider(scrapy.Spider):
    name = 'example.com'
    allowed_domains = ['example.com']
    start_urls = [
        ‘http://www.example.com/1.html',
        'http://www.example.com/2.html',
    ]
    
    def parse(self, response):
        self.logger.info('A response from %s just arrived!', response.url)
        
# 实例二
import scrapy

class MySpider(scrapy.Spider):
    name = 'example.com'
    allowed_domains = ['example.com']
    start_urls = [
        ‘http://www.example.com/1.html',
        'http://www.example.com/2.html',
    ]
    
    def parse(self, response):
        for h2 in response.xpath('//h2').extract():
            yield {'title':h2}
            
        for url in response.xpath('//a/@href').extract():
            yield scrapy.Request(url, callback=self.parse)
            
            
# 例三：在start_requests()内直接指定起始爬取得urls,start_urls就没有用了
import scrapy
from myproject.items import MyItem

class MySpider(scrapy.Spider):
    name = 'example.com'
    allowed_domains = ['example.com']
    
    def start_requests(self):
        yield scrapy.Request('http://www.example.com/1.html', self.parse)
        yield scrapy.Request('http://www.example.com/2.html', self.parse)
        yield scrapy.Request('httl://www.example.com/3.html', self.parse)
        
    def parse(self, response):
        for h3 in response.xpath('//h3').extract():
            yield MyItem(title=h3)
            
        for url in response.xpath('//a/@href').extract():
            yield scrapy.Request(url, callback=self.parse)

# 我们可能需要在命令行尾爬虫程序传递参数，比如传递初始的url
# 执行命令行
scrapy crawl myspider -a category=electronics

# 在__init__方法中可以接收外部传进来的参数
import scrapy

class MySpider(scrapy.Spider):
    name = 'myspider'
    
    def __init__(self, category=None, *args, **kwargs):
        super(MySpider, self).__init__(*args, **kwargs)
        self.start_urls = ['http://www.example.com/categories/%s' % category]
# 主要接收的参数全都是字符串，如果想要结构化数据，你需要用类似json.loads的方法