一、安装
pip install scrapy. 如果提示需要什么包就装什么包
有的包pip安装不起,需要自己下载whl文件进行安装.
二、基本的爬虫流程
通用爬虫有如下几步:
构造url -->> 请求,获取页面内容 -->> 分析页面内容(解析) -->> 保存结果
三、scrapy的爬虫流程
scrapy的流程与普通爬虫相同，有url作为输入－－start_urls；
有请求－－Requests,通常不需要自己构建,需要特殊参数时可使用settings配置,或者编写中间件；
有分析－－parse方法,直接传入返回的response对象即可,内置的解析方法多种多样,也可以直接import解析库进行解析；
有储存－－使用item在爬虫中保存爬取到的对象,在pipline里进行持久化,也可以直接在代码中写文件或者使用"-o"参数...
四、总结
scrapy的最大优点就是通用,你的大部分爬虫都可以scrapy去实现去操作,省去了很多构造请求和框架的时间.
scrapy的最大缺点也来源于通用,使用的时候总觉得和我需要的有出入,所以要自己去写中间件,自己去适配流程.