1、简介
（1）Scrapy是用纯python实现的，一个为了爬取网站数据、提取结构性数据而编写的应用框架。
（2）框架的力量，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片。
（3）Scrapy使用了Twisted(其主要对手是Tornado)异步网络框架来处理网络通讯，可以加快我们的下载速度，不用自己取实现异步框架，并且包含了各种中间件接口，可以灵活的完成各种需求。
2、Scrapy架构图
说明：绿色的线是数据流向
（1）Scrapy Engine(引擎)：负责Spider、ItemPipeline、DownLoader、Scheduler中间的通讯、信号、数据传递等。
（2）Scheduler(调度器)：它负责接受Scrapy Engine发送过来的Request请求，并按照一定的方式进行整理排列，入队，当Scrapy Engine需要时，交还给Scrapy Engine。
（3）Downloader(下载器)：负责下载Scrapy Engine发送的所有Requests请求，并将其获取到的Responses交还给Scrapy Engine，由Scrapy Engine交给Spider处理。
（4）Spider(爬虫)：它负责处理所有Responses，从中分析提取数据，获取item字段需要的数据，并将需要跟进的URL提交给Scrapy Engine，再次进入Scheduler。
（5）Item Pipeline(管道)：它负责处理Spider中获取到的Item,并进行后期处理(详细分析、过滤、存储等)。
（6）Downloader Middlewares(下载中间件)：可以当做是一个可以自定义扩展下载功能的组件。
（7）Spider Middlewares(Spider中间件)： 可以理解是一个可以自定扩展和操作Scrapider Engine和Spider中间通信的功能组件（比如进入Spider的Responses，和从Spider出去的Requests）
3、Scrapy的运作流程
（1）Scrapy Engine询问Spider要处理的网站，即爬取的域名范围，如example.com，这同时也防止爬虫越界
（2）Spider发送要处理的域名：`example.com`
（3）Scrapy Engine会再次询问Spider要处理的第一个URL
（4）Spider发送`xxxxxx.com`给Scrapy Engine
（5）Scrapy Engine会让Scheduler将requests请求排序入队
（6）Scheduler处理requests
（7）Scrapy Engine向Scheduler要处理好的requests请求
（8）Scheduler发送处理好的requests给Scrapy Engine
（9）Scrapy Engine要求Downloader按照Downloader Middlewares的设置下载requests请求
（10）Downloader Middlewares将下载好的requests发送给Scrapy Engine。如果request下载失败，Scrapy Engine会告诉Scheduler，这个request下载失败了，需要记录一下，等会儿再下载。
（11）Scrapy Engine返回给Spider下载好的requests，是一个responses对象，responses默认是交给Spider的def parse()这个函数处理的。
（12）当Spider处理完responses后，如果有需要跟进的URL，会告诉Scrapy Engine，同时将处理好的Item数据提交给Scrapy Engine。
（13）Scrapy Engine会将接收到的Item发送给Item Pipeline处理。同时将需要跟进的URL发送给Scheduler，让其循环处理，直到获取完需要的全部信息。
（14）Item Pipeline处理获取到的Item。
注意：只有当Scheduler中不存在任何request了，整个程序才会停止（如果requests中有下载失败的URL，Scrapy也会重新下载）。
4、制作Scrapy Spider的步骤：
（1）新建项目（scrapy startproject xxx）：新建一个新的爬虫项目
（2）明确目标（编写items.py，其中的字段为要爬取的关键信息）：明确想要抓取的目标
（3）制作爬虫（编辑spiders/xxx_spider.py）：制作爬虫，开始爬取网页
（4）存贮内容（编辑pilelines.py）：设计管道，存储爬取的内容。
5、安装Scrapy
Scrapy框架官方文档：https://docs.scrapy.org/en/latest/
Scrapy官方中文文档：https://scrapy-chs.readthedocs.io/zh_CN/latest/index.html
安装方法：https://scrapy-chs.readthedocs.io/zh_CN/latest/intro/install.html