1.scrapy介绍安装

scrapy 简介&安装

初识 scrapy

Scrapy是一个使用Python语言（基于Twisted（推四体的）框架，内部也就是异步非阻塞io源码）编写的开源网络爬虫框架，目前由Scrapinghub Ltd维护。Scrapy简单易用、灵活易拓展、开发社区活跃，并且是跨平台的。在Linux、 MaxOS以及Windows平台都可以使用。

1. Scrapy 简介

1.1 网络爬虫

网络爬虫是指在互联网上自动爬取网站内容信息的程序，也被称作网络蜘蛛或网络机器人。大型的爬虫程序被广泛应用于搜索引擎、数据挖掘等领域，个人用户或企业也可以利用爬虫收集对自身有价值的数据。

一个网络爬虫程序的基本执行流程可以总结三个过程：请求数据， 解析数据， 保存数据

1.1.1 请求数据

请求的数据除了普通的HTML之外，还有 json 数据、字符串数据、图片、视频、音频等。

1.1.2 解析数据

当一个数据下载完成后，对数据中的内容进行分析，并提取出需要的数据，提取到的数据可以以多种形式保存起来，数据的格式有非常多种，常见的有csv、json、pickle等

1.1.3 保存数据

最后将数据以某种格式（CSV、JSON）写入文件中，或存储到数据库（MySQL、MongoDB）中。同时保存为一种或者多种。

通常，我们想要获取的数据并不只在一个页面中，而是分布在多个页面中，这些页面彼此联系，一个页面中可能包含一个或多个到其他页面的链接，提取完当前页面中的数据后，还要把页面中的某些链接也提取出来，然后对链接页面进行爬取（循环1-3步骤）。

设计爬虫程序时，还要考虑防止重复爬取相同页面（URL去重）、网页搜索策略（深度优先或广度优先等）、爬虫访问边界限定等一系列问题。

从头开发一个爬虫程序是一项烦琐的工作，为了避免因制造轮子而消耗大量时间，在实际应用中我们可以选择使用一些优秀的爬虫框架，使用框架可以降低开发成本，提高程序质量，让我们能够专注于业务逻辑（爬取有价值的数据）。接下来，就带你学习目前非常流行的开源爬虫框架Scrapy。

1.2 Scrapy安装

官网 https://scrapy.org/

1.2.1 安装方式

在任意操作系统下，可以使用pip安装Scrapy，例如：

pip3 install scrapy

为确认Scrapy已安装成功，首先在Python中测试能否导入Scrapy模块：

>>> import scrapy
>>> scrapy.version_info
(2, 1, 0)

然后，在 命令行 中测试能否执行 Scrapy 这条命令：

# 输入scrapy 然后回车

Scrapy 2.1.0 - no active project

Usage:
  scrapy <command> [options] [args]

Available commands:
  bench         Run quick benchmark test
  fetch         Fetch a URL using the Scrapy downloader
  genspider     Generate new spider using pre-defined templates
  runspider     Run a self-contained spider (without creating a project)
  settings      Get settings values
  shell         Interactive scraping console
  startproject  Create new project
  version       Print Scrapy version
  view          Open URL in browser, as seen by Scrapy

  [ more ]      More commands available when run from project directory

Use "scrapy <command> -h" to see more info about a command

通过了以上两项检测，说明Scrapy安装成功了。如上所示，我们安装的是当前最新版本2.1.0。

注意：

• 在安装Scrapy的过程中可能会遇到缺少VC++等错误，可以安装缺失模块的离线包

• 成功安装后，在CMD下运行scrapy出现上图不算真正成功，检测真正是否成功使用scrapy bench测试，如果没有提示错误，就代表成功安装。

  输入 scrapy  bench 回车
  
  2020-06-24 22:47:58 [scrapy.utils.log] INFO: Scrapy 2.1.0 started (bot: scrapybot)
  2020-06-24 22:47:58 [scrapy.utils.log] INFO: Versions: lxml 4.2.1.0, libxml2 2.9.8, cssselect 1.1.0, parsel 1.6.0, w3lib 1.22.0, Twisted 20.3.0, Python 3.6.5 |Anaconda, Inc.| (default, Mar 29 2018, 13:32:41) [MSC v.1900 64 bit (AMD64)], pyOpenSSL 18.0.0 (OpenSSL 1.1.1g  21 Apr 2020), cryptography 2.9.2, Platform Windows-10-10.0.18362-SP0
  2020-06-24 22:48:00 [scrapy.crawler] INFO: Overridden settings:
  {'CLOSESPIDER_TIMEOUT': 10, 'LOGSTATS_INTERVAL': 1, 'LOG_LEVEL': 'INFO'}
  2020-06-24 22:48:00 [scrapy.extensions.telnet] INFO: Telnet Password: 9de71fdaf617fd20
  2020-06-24 22:48:00 [scrapy.middleware] INFO: Enabled extensions:
  ['scrapy.extensions.corestats.CoreStats',
   'scrapy.extensions.telnet.TelnetConsole',
   'scrapy.extensions.closespider.CloseSpider',
   'scrapy.extensions.logstats.LogStats']
  2020-06-24 22:48:00 [scrapy.middleware] INFO: Enabled downloader middlewares:
  ['scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware',
   'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware',
   'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware',
   'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware',
   'scrapy.downloadermiddlewares.retry.RetryMiddleware',
   'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware',
   'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware',
   'scrapy.downloadermiddlewares.redirect.RedirectMiddleware',
   'scrapy.downloadermiddlewares.cookies.CookiesMiddleware',
   'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware',
   'scrapy.downloadermiddlewares.stats.DownloaderStats']
  2020-06-24 22:48:00 [scrapy.middleware] INFO: Enabled spider middlewares:
  ['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware',
   'scrapy.spidermiddlewares.offsite.OffsiteMiddleware',
   'scrapy.spidermiddlewares.referer.RefererMiddleware',
   'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware',
   'scrapy.spidermiddlewares.depth.DepthMiddleware']
  2020-06-24 22:48:00 [scrapy.middleware] INFO: Enabled item pipelines:
  []
  2020-06-24 22:48:00 [scrapy.core.engine] INFO: Spider opened
  2020-06-24 22:48:00 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)
  2020-06-24 22:48:00 [scrapy.extensions.telnet] INFO: Telnet console listening on 127.0.0.1:6023
  2020-06-24 22:48:02 [scrapy.extensions.logstats] INFO: Crawled 38 pages (at 2280 pages/min), scraped 0 items (at 0 items/min)
  2020-06-24 22:48:03 [scrapy.extensions.logstats] INFO: Crawled 69 pages (at 1860 pages/min), scraped 0 items (at 0 items/min)
  2020-06-24 22:48:04 [scrapy.extensions.logstats] INFO: Crawled 94 pages (at 1500 pages/min), scraped 0 items (at 0 items/min)
  2020-06-24 22:48:05 [scrapy.extensions.logstats] INFO: Crawled 125 pages (at 1860 pages/min), scraped 0 items (at 0 items/min)
  2020-06-24 22:48:06 [scrapy.extensions.logstats] INFO: Crawled 150 pages (at 1500 pages/min), scraped 0 items (at 0 items/min)
  2020-06-24 22:48:07 [scrapy.extensions.logstats] INFO: Crawled 174 pages (at 1440 pages/min), scraped 0 items (at 0 items/min)
  2020-06-24 22:48:08 [scrapy.extensions.logstats] INFO: Crawled 198 pages (at 1440 pages/min), scraped 0 items (at 0 items/min)
  2020-06-24 22:48:09 [scrapy.extensions.logstats] INFO: Crawled 222 pages (at 1440 pages/min), scraped 0 items (at 0 items/min)
  2020-06-24 22:48:10 [scrapy.extensions.logstats] INFO: Crawled 246 pages (at 1440 pages/min), scraped 0 items (at 0 items/min)
  2020-06-24 22:48:11 [scrapy.core.engine] INFO: Closing spider (closespider_timeout)
  2020-06-24 22:48:11 [scrapy.extensions.logstats] INFO: Crawled 270 pages (at 1440 pages/min), scraped 0 items (at 0 items/min)
  2020-06-24 22:48:12 [scrapy.extensions.logstats] INFO: Crawled 285 pages (at 900 pages/min), scraped 0 items (at 0 items/min)
  2020-06-24 22:48:12 [scrapy.statscollectors] INFO: Dumping Scrapy stats:
  {'downloader/request_bytes': 108614,
   'downloader/request_count': 285,
   'downloader/request_method_count/GET': 285,
   'downloader/response_bytes': 689607,
   'downloader/response_count': 285,
   'downloader/response_status_count/200': 285,
   'elapsed_time_seconds': 11.123492,
   'finish_reason': 'closespider_timeout',
   'finish_time': datetime.datetime(2020, 6, 24, 14, 48, 12, 114296),
   'log_count/INFO': 21,
   'request_depth_max': 12,
   'response_received_count': 285,
   'scheduler/dequeued': 285,
   'scheduler/dequeued/memory': 285,
   'scheduler/enqueued': 5698,
   'scheduler/enqueued/memory': 5698,
   'start_time': datetime.datetime(2020, 6, 24, 14, 48, 0, 990804)}
  2020-06-24 22:48:12 [scrapy.core.engine] INFO: Spider closed (closespider_timeout)
  

具体Scrapy安装流程参考：**http://doc.scrapy.org/en/latest/intro/install.html##intro-install-platform-notes **里面有各个平台的安装方法

1.2.2 全局命令

这里只是全部列出来，实际写项目的时候只会用到一部分

  Scrapy 2.1.0 - no active project
  
  Usage:
    scrapy <command> [options] [args]
  
  Available commands:
    bench         Run quick benchmark test
    			  ## 测试电脑性能。
    fetch         Fetch a URL using the Scrapy downloader
    			  ## 将网页源代码下载下来并显示出来
    genspider     Generate new spider using pre-defined templates
    			  ## 创建一个新的 spider 文件
    runspider     Run a self-contained spider (without creating a project)
    			  ## 这个和通过crawl启动爬虫不同，scrapy runspider 爬虫文件名称
    settings      Get settings values
    			  ## 获取当前的配置信息
    shell         Interactive scraping console
    			  ## 进入 scrapy 的交互模式
    startproject  Create new project
				  ## 创建爬虫项目。
    version       Print Scrapy version
    view          Open URL in browser, as seen by Scrapy
  				  ## 将网页document内容下载下来，并且在浏览器显示出来
    [ more ]      More commands available when run from project directory
  
  Use "scrapy <command> -h" to see more info about a command
  

项目命令

注意：创建爬虫以及运行爬虫的时候都必须在当前爬虫项目路径下

• scrapy startproject projectname

  创建一个项目

• scrapy genspider spidername domain

  创建爬虫，创建好爬虫项目以后，还需要创建爬虫。

• scrapy crawl spidername

  运行爬虫，注意该命令运行时所在的目录。

1.3 总结

这里我们只要安装好scrapy框架, 以及能够成功导入即可, 至于那些命令, 现在记不住也可以, 我们会在接下来的学习中一点一点的学会使用, 并记住.