创建爬虫
scrapy genspider 名字 xxx.com
运行爬虫
运行名为usnews的爬虫
scrapy crawl usnews
运行爬虫文件
scrapy runspider quote_spider.py
保存到json文件里
scrapy runspider quote_spider.py -o quotes.json
保存成csv文件
scrapy runspider quote_spider.py -o quotes.csv -t csv
调试爬虫
进入scrapy控制台，使用的是项目环境
scrapy shell
带一个url，将自动请求这个url，并在请求成功后进入控制台
scrapy shell http://xxx.com
进入到控制台以后可以使用一下函数（常用命令）
fetch(): 请求url或者Response对象
注意：请求成功以后会自动将当前作用域内的request和response对象重新赋值
view(): 用浏览器打开response对象的网页
shelp(): 打印出帮助信息
spider(): 相应的Spider类的实例
settings： 保存所有配置信息的Settings对象
crawler： 当前Crawler对象
中间件
process_request
在response对象传往downloader的过程中被调用。当返回不同类型的值的时候，行为也不一样。
返回值：None
行为：一切正常，继续执行其他中间件链
返回值：Response
行为：停止调用其他process_request和process_exception函数，也不再继续下载该请求，然后执行调用process_response的流程
返回值：Request
行为：不再继续调用其他process_request函数，交给调度器重新安排下载
返回值：IgnoreRequest
行为：process_exception函数被调用，如果没有此方法，则request.errback会被调用，如果errback也没有，则此异常会被忽略，甚至连日志都没有
process_response
在将下载结果返回给engine过程中
返回值：Response
行为：继续调用其他中间件的process_response
返回值：Request
行为：不再继续调用其他process_request函数，交给调度器重新安排下载
返回值：IgnoreRequest
行为：request.errback会被调用，如果errback也没有，则此异常会被忽略，甚至连日志都没有
process_exception
在下载过程中出现异常（DNS,timeout，网络连接不上等异常），或者在process_request中抛出IgnoreRequest异常的时候调用
返回值：None
行为：
返回值：Response
行为：继续调用其他中间件的process_response
返回值：Request
行为：不再继续调用其他process_request函数，交给调度器重新安排下载
from_crawler(cls, crawler)
如果存在该函数，则调用该函数创建中间件的实例。
如果要写这个函数，一定要返回一个中间件的对象。
这个函数作用：传递信号或者读取配置