使用Scrapy创建一个爬虫
创建项目
您可以使用下面的命令来创建 Scrapy 项目：
scrapy startproject 项目名称
例：
scrapy startproject scrapy_project
这将创建一个名为 project_name 的项目目录。接下来，进入新创建的项目，使用下面的命令：
cd scrapy_project
控制项目
您可以控制项目，并通过使用Scrapy工具，也创造了新的蜘蛛(spider)，使用下面的命令进行管理：
scrapy genspider 爬虫名称 url
例：
scrapy genspider Baidu baidu.com
如：抓取等等的命令在 Scrapy 项目中的使用。这里所有命令在接下来 Scrapy 项目内使用运行。
Scrapy包含一些内置的命令，它可以用来为项目。要查看可用命令的列表，请使用以下命令：
scrapy -h
当运行上面的命令，Scrapy将显示如下面所列出可用命令的列表：
-
fetch: 它使用Scrapy downloader 提取的 URL。
-
runspider: 它用于而无需创建一个项目运行自行包含蜘蛛(spider)。
-
settings: 它规定了项目的设定值。
-
shell: 这是一个给定URL的一个交互式模块。
-
startproject: 它创建了一个新的 Scrapy 项目。
-
version: 它显示Scrapy版本。
-
view: 它使用Scrapy downloader 提取 URL并显示在浏览器中的内容。
一些项目相关的命令，如下：
-
crawl: 它是用来使用蜘蛛抓取数据；
-
check: 它检查项目并由 crawl 命令返回；
-
list: 它显示本项目中可用蜘蛛(spider)的列表；
-
edit: 可以通过编辑器编辑蜘蛛；
-
parse:它通过蜘蛛分析给定的URL；
-
bench: 它是用来快速运行基准测试(基准讲述每分钟可被Scrapy抓取的页面数量)。
爬取
进入项目的根目录，执行下列命令启动spider:
scrapy crawl 爬虫名字
例：
scrapy crawl Baidu
待续·······
关注公众号：
