什么是scrapy框架：
scrapy是一个基于Twisted异步框架的爬虫框架,scrapy具有异步性，效率高。
scrapy是用于爬取结构化数据
适合构建大型爬虫应用。
scrapy安装配置
lxml, wheel, Twisted, pywin32, scrapy
项目的常见与运行
创建：
1. scrapy startproject 文件名
2.cd 文件名
3.scrapy genspider 目录名 域名
运行：
scrapy crawl 目录名
scrapy crawl 目录名 --nolog 加个--nolog取消日志 但不会提示报错吗
爬虫：
# 爬虫类
# scrapy.Spider爬虫类, 最牛逼的一个爬虫类
class ZetaotaigouSpider(scrapy.Spider):
# name为爬虫名
# name唯一的标识了爬虫, 运行爬虫的时候会用的到, 所以爬虫名必须有, 且不能重复
# 有时候运行并不需要爬虫名, 但是爬虫名不可以删掉, 删掉了就不是爬虫类
name = 'zetaotaigou'
# allow: 允许, domain: 域名
# allowed_domains限定爬虫爬取的范围的.
# allowed_domains = ['baidu.com']
# start_urls: 起始url
# 项目一启动, 会自动的对start_urls中的url发起请求
start_urls = ['http://www.kekenet.com/Article/15577/']
五大核心组件与数据流向
组件: 爬虫 引擎 调度器 下载器 管道
数据流向：
爬虫 --(1.请求) --> 引擎 -- (2.请求) --> 调度器 --(3.请求) -->引擎 -- (4.请求) -->下载器 -- (5.请求) -->服务器-- (6.响应) -->下载器 -- (7.响应) -->引擎 -- (8.响应) --> 爬虫 --(9.item) -->管道
scrapy框架中的数据解析
response.xpath("xpath表达式")
response.css("css选择器")
