anaconda下使用scrapy框架创建模板爬虫项目

Anaconda如何安装Scrapy框架：

1、进入anaconda prompt

2、键入：conda install scrapy

3、Proceed ([y]/n)?  y

4、等待安装成功

5、键入：scrapy

创建scrapy爬虫项目：

1、打开anaconda prompt

2、进入创建项目的目标目录

3、键入：scrapy startproject 项目名称

4、按照上面的提示，键入：

cd block123

scrapy genspider 爬虫文件名 网址    （注意：爬虫文件名与爬虫项目名不可重复）

 

或者指定-t参数，即使用模板：

5、项目创建完成

6、键入:tree /F，所需要的编辑的文件即为items.py,spiders/example.py,setting.py

items.py: # define the fields for your item here like:

class Block123Item(scrapy.Item):

　　item1 = scrapy.Field()

　　item2 = scrapy.Field()

setting.py: # Scrapy settings for block123 project

例如：USER_AGENT, ROBOTSTXT_OBEY 等等

 spiders/example.py,spider1.py,spider2.py...

爬虫主体代码

7、爬虫写好之后，运行并输出到指定文件，键入：scrapy crawl example -o result.json