简介：
Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。
其最初是为了 页面抓取 (更确切来说, 网络抓取 )所设计的， 也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。
创建项目：
scrapy startproject scrapy_test
编写Spider：
#scrapy genspider 项目名 项目url scrapy genspider quotes quotes.toscrape.com
执行爬虫：
scrapy crawl quotes
错误代码：
UnicodeEncodeError: 'gbk' codec can't encode character 'u2764' in position 11162: illegal multibyte sequence
解决办法：
import io import sys sys.stdout = io.TextIOWrapper(sys.stdout.buffer,encoding='utf8')
我们看看scrapy的爬虫流程图：
基本的爬虫框架：
scrapy_test/
scrapy_test/
spiders/
__init__.py
quotes.py
__init__.py
items.py
middlewares.py
pipelines.py
settings.py
scrapy.cfg
Scrapy Engine: 这是引擎，负责Spiders、ItemPipeline、Downloader、Scheduler中间的通讯，信号、数据传递等等！
Scheduler(调度器): 它负责接受引擎发送过来的requests请求，并按照一定的方式进行整理排列，入队、并等待Scrapy Engine(引擎)来请求时，交给引擎。
Downloader（下载器）：负责下载Scrapy Engine(引擎)发送的所有Requests请求，并将其获取到的Responses交还给Scrapy Engine(引擎)，由引擎交给Spiders来处理，
Spiders：它负责处理所有Responses,从中分析提取数据，获取Item字段需要的数据，并将需要跟进的URL提交给引擎，再次进入Scheduler(调度器)，
Item Pipeline：它负责处理Spiders中获取到的Item，并进行处理，比如去重，持久化存储（存数据库，写入文件，总之就是保存数据用的）
Downloader Middlewares（下载中间件）：你可以当作是一个可以自定义扩展下载功能的组件
Spider Middlewares（Spider中间件）：你可以理解为是一个可以自定扩展和操作引擎和Spiders中间‘通信‘的功能组件（比如进入Spiders的Responses;和从Spiders出去的Requests）
调试方法：
在scrapy中我们为了抽取一个网站的详细内容的时候，我们在对应spider里面可能写了很多的抽取代码，但是我们不能每次执行整个大项目调试，这个时候为了试某个抽取代码的时候，我们可以直接在终端键入如下命令，然后就可以从头到尾的调试自己的每一条抽取代码。
#scrapy shell 网站地址 scrapy shell http://quotes.toscrape.com/
保存：
保存为json文件
scrapy crawl quotes -o quotes.json
.json #json文件（包在一个大列表里面的一个个字典形式）
.jl #一个一个 独立的字典形式
.xml #xml文件
.csv #csv文件
.pickle #pickle文件
.fpt #ftp://user:password@ftp.server.com/path/quotes.cvs(别忘了既然是保存肯定是有文件路径+名字（保存类型）)