Scrapy基础

Scrapy框架模块功能：

1. Scrapy Engine（引擎）：Scrapy框架的核心部分。负责在Spider和ItemPipeline、Downloader、Scheduler中间通信、传递数据等。
2. Spider（爬虫）：发送需要爬取的链接给引擎，最后引擎把其他模块请求回来的数据再发送给爬虫，爬虫就去解析想要的数据。这个部分是我们开发者自己写的，因为要爬取哪些链接，页面中的哪些数据是我们需要的，都是由程序员自己决定。
3. Scheduler（调度器）：负责接收引擎发送过来的请求，并按照一定的方式进行排列和整理，负责调度请求的顺序等。
4. Downloader（下载器）：负责接收引擎传过来的下载请求，然后去网络上下载对应的数据再交还给引擎。
5. Item Pipeline（管道）：负责将Spider（爬虫）传递过来的数据进行保存。具体保存在哪里，应该看开发者自己的需求。
6. Downloader Middlewares（下载中间件）：可以扩展下载器和引擎之间通信功能的中间件。
7. Spider Middlewares（Spider中间件）：可以扩展引擎和爬虫之间通信功能的中间件。

---

Scrapy快速入门

安装和文档：

1. 安装：通过pip install scrapy即可安装。
2. Scrapy官方文档：http://doc.scrapy.org/en/latest
3. Scrapy中文文档：http://scrapy-chs.readthedocs.io/zh_CN/latest/index.html

注意：

1. 在ubuntu上安装scrapy之前，需要先安装以下依赖：
   sudo apt-get install python3-dev build-essential python3-pip libxml2-dev libxslt1-dev zlib1g-dev libffi-dev libssl-dev，然后再通过pip install scrapy安装。
2. 如果在windows系统下，提示这个错误ModuleNotFoundError: No module named 'win32api'，那么使用以下命令可以解决：pip install pypiwin32。

快速入门：

---

---

创建项目：

要使用Scrapy框架创建项目，需要通过命令来创建。首先进入到你想把这个项目存放的目录。然后使用以下命令创建：

scrapy startproject [项目名称]

目录结构介绍：

以下介绍下主要文件的作用：

items.py：用来存放爬虫爬取下来数据的模型。

1. middlewares.py：用来存放各种中间件的文件。
2. pipelines.py：用来将items的模型存储到本地磁盘中。
3. settings.py：本爬虫的一些配置信息（比如请求头、多久发送一次请求、ip代理池等）。
4. scrapy.cfg：项目的配置文件。
5. spiders包：以后所有的爬虫，都是存放到这个里面。

---

 1. response 是一个 scrapy.http.response.html.HtmlResponse 对象 ,可以执行,xpath 和 css 语法来提取数据

2.提取出来的数据,是一个 selector 或者 是一个 selectorList 对象 ,如果想要获取其中的字符串,那么应该执行

getall 或者 get 方法

3. getall 方法 :获取 Selector 中所有文本,返回一个列表

4. get方法, 获取的是 selector 中的第一个文本,返回的是一个str 类型

5. 如果数据解析回来,要传给 pipline 处理, 那么 可以 使用 yield 来 返回,

或者是收集所有的 item 最后统一使用 return 返回

6. item 建议 在 items.py 中定义 好模型, 以后就不要使用字典 

7. pipeline  这个是专门用来保存数据的,其中有三个方法是会经常用的

　　open_spider(self,spider) 当爬虫被打开的时候执行

　　process_item(self,item,spider) 当爬虫有item传过来的时候会被调用

　　close_spider(self,spider) 当爬虫关闭的时候会被调用

　　要激活 pipeline 应该在 settings.py 中,设置 ITEM_PIPELINES