Scrapy命令详解

• 1 创建项目命令

# 可以在创建的时候指定项目所在的目录,myproject是项目名
scrapy startproject myproject [project_dir]

这将在project_dir目录下创建一个Scrapy项目。如果project_dir没有指定，project_dir将与myproject相同。

• 创建爬虫命令

# 先切换目录
cd project_dir
# 执行创建，myspider是爬虫的名字， mydomain.com是指定此爬虫需要爬取的网站的domain
scrapy genspider myspider mydomain.com

帮助命令

我们可以在任何目录下通过运行以下命令获取有关每个命令的更多信息：

scrapy <command> -h

示例1：

D:>scrapy startproject -h
Usage
=====
  scrapy startproject <project_name> [project_dir]

Create new project

Options
=======
--help, -h              show this help message and exit

Global Options
--------------
--logfile=FILE          log file. if omitted stderr will be used
--loglevel=LEVEL, -L LEVEL
                        log level (default: DEBUG)
--nolog                 disable logging completely
--profile=FILE          write python cProfile stats to FILE
--pidfile=FILE          write process ID to FILE
--set=NAME=VALUE, -s NAME=VALUE
                        set/override setting (may be repeated)
--pdb                   enable pdb on failure

示例2：

D:>scrapy genspider -h
Usage
=====
  scrapy genspider [options] <name> <domain>

Generate new spider using pre-defined templates

Options
=======
--help, -h              show this help message and exit
--list, -l              List available templates
--edit, -e              Edit spider after creating it
--dump=TEMPLATE, -d TEMPLATE
                        Dump template to standard output
--template=TEMPLATE, -t TEMPLATE
                        Uses a custom template.
--force                 If the spider already exists, overwrite it with the
                        template

Global Options
--------------
--logfile=FILE          log file. if omitted stderr will be used
--loglevel=LEVEL, -L LEVEL
                        log level (default: DEBUG)
--nolog                 disable logging completely
--profile=FILE          write python cProfile stats to FILE
--pidfile=FILE          write process ID to FILE
--set=NAME=VALUE, -s NAME=VALUE
                        set/override setting (may be repeated)
--pdb                   enable pdb on failure

查看所有可用的命令：

scrapy -h

示例：

D:>scrapy -h
Scrapy 1.8.0 - no active project

Usage:
  scrapy <command> [options] [args]

Available commands:
  bench         Run quick benchmark test
  fetch         Fetch a URL using the Scrapy downloader
  genspider     Generate new spider using pre-defined templates
  runspider     Run a self-contained spider (without creating a project)
  settings      Get settings values
  shell         Interactive scraping console
  startproject  Create new project
  version       Print Scrapy version
  view          Open URL in browser, as seen by Scrapy

  [ more ]      More commands available when run from project directory

Use "scrapy <command> -h" to see more info about a command

全局命令

有两种命令，一种只能在Scrapy项目内部工作（特定于项目的命令）和那些在没有活动的Scrapy项目（全局命令）的情况下工作的命令，从项目内部运行时它们可能表现略有不同（因为他们会使用项目覆盖设置）。

startproject

genspider

# 创建爬虫，可指定模板
scrapy genspider [-t template] <name> <domain>
# 列出创建spider所有可用模板 ：
scrapy genspider -l
# 指定模板生成spider ，不指定默认为basic模板，这里指定crawl模板
scrapy genspider -t crawl zhihu www.zhihu.com 
scrapy genspider -d 模板名：可以查看到模板的内容

settings

获取配置文件信息

runspider

在Python文件中运行自包含的蜘蛛，而无需创建项目。

shell

获取数据后进入交互模式，可以使用程序中的方法进行操作。交互模式主要用于调试

# 进入shell
scrapy shell
# 向一个网页发送请求,得到一个response对象
fetch('http://www.baidu.com')
# 在浏览器中查看响应结果
view(response)
# 得到响应的文本信息
response.text
# response是一个Htmlresponse对象，可以使用xpath,css的方法解析网页

fetch

类似于requests的url请求。可以添加参数[–nolog]不显示响应头；[–headers]；显示响应头；[–no重定向]禁止重定向

 scrapy fetch <url>

view

会把请求的数据保存成一个文件并在浏览器中打开。

version

输出版本

仅限项目的命令

crawl
运行爬虫，后面的参数是spider的名称

scrapy crawl myspider 

check
检查语法是否有错误

scrapy check

list
可以列出当前项目中可使用的爬虫文件

scrapy list

edit
可以对指定的某个文件进行编辑

parse
对指定的url网址进行分析和处理，

bench
可以测试本地硬件的性能，当运行scrapy bench时，会创建一个本地服务器并会以最大的速度进行爬行，就为了测试本地硬件的性能。可以检测到每分钟能爬多少网页，当我们实际运行项目时，可以参照这个数据进行比较，从而对爬虫项目继续改进和修改。