好比Django的Debuge 与前端进行交互时的方便,但是Scrapy 不自带,所以我们写一个main文件来debuge
作用:通过cmd 命令启动爬虫
1 #-*-coding:utf-8 -*- 2 #通过调用命令行进行调试 3 4 __author__ = "ruoniao" 5 __date__ = "2017/5/14 16:39" 6 #调用execute这个函数可调用scrapy脚本 7 from scrapy.cmdline import execute 8 9 #设置工程命令 10 import sys 11 import os 12 #设置工程路径,在cmd 命令更改路径而执行scrapy命令调试 13 #获取main文件的父目录,os.path.abspath(__file__) 为__file__文件目录 14 15 sys.path.append(os.path.dirname(os.path.abspath(__file__))) 16 execute(["scrapy","crawl","jobbole" ])