用scrapy爬取天天美剧
1、 打开终端,进入相应目录下,激活虚拟环境
source activate spider
2、 进入相应目录下(/spider/exec/),创建新的scrapy项目meijutt
scrapy startproject meijutt
以下3~6,可在pycharm中完成
3、 定义item,即在items.py中写代码,定义了MiejuItem类及其5个属性
4、 在/meijutt/meijutt/spider/新建meijuspider.py文件,需要导入MiejuItem类,还要写提取代码等,输出item
5、 定义pipeline,在pipelines.py中,定义MeijuPipeline类,对item进行处理
6、 启用pipelines,在settings.py中,找到ITEM_PIPELINES,在其中写入刚编写的MeijuPipeline类
7、 在终端中(在/spider/exec/meijutt目录下,激活状态下),输入命令,执行爬取:
scrapy crawl meiju