不是python文件中的,而是在虚拟机中运行的命令行,先要workon进入虚拟环境
2.scrapy 框架的使用
-1.新建项目
命令:scrapy startproject <project_name> [project_dir]
注意:cd到想要创建项目的目录下
-2.编写爬虫
-手动编写
-1.继承scrapy.Spider
-2.name属性
-3.start_urls
-4.parse方法
-命令行:scrapy genspider [-t template] <name> <domain>
scrapy genspider tzc www.shiguangkey.com
-3.启动爬虫
-scrapy crawl <spidername>
-4.追踪连接
return scrapy.Request()