爬虫框架就是一些爬虫项目的半成品，可以将一些爬虫常用的功能写好。然后留下一些接口，在不同的爬虫项目中，调用适合自己项目的接口，再编写少量的代码实现自己需要的功能。因为框架已经实现了爬虫常用的功能，所以为开发人员节省了很多精力与时间。
1、Scrapy爬虫框架
这是一套比较成熟的python爬虫框架，简单轻巧，并且非常方便。可以高效率的爬取Web页面并从页面中提取结构化的数据。Scrapy是一套成熟的框架，所以在使用时不需要担心收取费用的问题。其网址为：https://scrapy.org 可以看下他们的开发文档
源码地址：https://github.com/binux/pyspider/releases
开发文档地址为：http://docs.pyspider.org/
2、Crawley 爬虫框架
Crawley也是python开发出的爬虫框架，该框架致力于改变人们从互联网中提取数据的方式。特性如下：
基于Eventlet构建的高速网络爬虫框架
可以将数据存储在关系型数据库中，如mysql
可以将爬取的数据导入为Json、XML格式
支持非关系数据跨
支持命令行工具
可以使用喜欢的工具进行数据的提取
支持使用Cookie登录或访问那些只有登录才可以访问的网页
简单易学（hope so）
官网地址为：http://project.crawley-cloud.com
3、PySpider爬虫框架
相对于Scrapy框架而言，PySpider框架是一支新秀。它采用Python语言编写，分布式架构，支持多种数据库后端，强大的WebUI支持脚本编辑器、任务监视器、项目管理器以及结果查看器。有如下特性：
Python脚本控制，可以用任何你喜欢的html解析包
Web界面编写调试脚本、起停脚本、监控执行状态、查看活动历史、获取结果产出
支持RabbitMQ、Beanstalk、Redis和Kombu作为消息队列
支持抓取JavaScript的页面
强大的调度控制，支持超时重爬及优先级设置
组件可替换，支持单机/分布式部署，支持Docker部署
4、Scrapy 爬虫框架的使用
（1）搭建
01 安装Twisted模块 计算机需要有c++ 14.0的相关支持，可以我的网盘里下载
02 安装Scrapy模块 直接安装即可
03 安装pywin32模块 直接安装即可
（2）创建Scrapy项目
在指定文件夹内打开命令行，输入： scrapy startproject scrapyDemo，即可创建一个名为‘scrapyDemo’的项目
（3）创建爬虫
在创建爬虫时，首先需要创建一个爬虫模块的文件，该文件需要放置在spiders文件夹中。爬虫模块是用于从一个网站或多个网站中爬取数据的类，它需要继承scrapy.Spider类，下面通过一个例子，实现爬取网页后将网页的代码以html文件保存到项目文件夹当中，如下：
import scrapy class QuotesSpider(scrapy.Spider): name = 'quotes' #定义爬虫的名称 def start_requests(self): #设置爬取目标的地址 urls=[ 'https://www.juzimi.com/article/23959', 'https://www.juzimi.com/article/23959?page=1', 'https://www.juzimi.com/article/23959?page=2' ] #获取所有地址，有几个地址发送几次请求 for url in urls: #发送网络请求 yield scrapy.Request(url=url,callback=self.parse) def parse(self, response): #获取页数 page=response.url.split('/')[-2] #根据页数设置文件名称 filename='quotes-%s.html'%page #写入文件的模式打开文件，如果没有该文件将创建该文件 with open(filename,'wb') as f: #向文件中写入获取的html代码 f.write(response.body) #输出保存文件的名称 self.log('Saved file %s'%filename)
在运行Scrapy 所创建的爬虫项目时，需要在命令窗口中输入“scrapy crawl quotes”，其中“quotes”是自己定义的爬虫名称。
除了使用在命令窗口中启动外，还可以在程序中启动爬虫的API，也就是CrawlerProcess类。首先需要在CrawlerProcess初始化时传入项目的settings信息，然后在crawl()方法中传入爬虫的名称，最后通过start()方法启动爬虫，代码如下：
#导入CrawlerProcess类 from scrapy.crawler import CrawlerProcess #导入获取项目设置信息 from scrapy.utils.project import get_project_settings #程序入口 if __name__ == '__main__': #创建CrawlerProcess类对象并传入项目设置信息参数 process=CrawlerProcess(get_project_settings()) #设置需要启动的爬虫名称 process.crawl('quotes') #启动爬虫 process.start()
（4）获取数据
Scrapy爬虫框架，可以通过特定的CSS或者XPath表达式来选择HTML文件中的某一处，并且提取出相应的数据。
1、CSS提取数据
使用CSS提取HTML文件中的某一处数据时，可以指定HTML文件中的标签名称，示例代码如下：
response.css('title').extract()