zoukankan      html  css  js  c++  java
  • Scrapy常用命令

    scrapy全局命令

      要想了解在scrapy中由哪些全局命令,可以在不进入scrapy爬虫项目目录的情况下运行scrapy -h

      

    (1) fetch命令

      fetch命令主要用来显示爬虫爬取的过程,如果在scrapy项目目录之外使用该命令,则会调用scrapy默认的爬虫来进行网页的爬取,如果在scrapy的某个项目目录内使用该命令,则会调用该项目中的爬虫来进行网页的爬取

      --headers 控制显示对象的爬虫爬取网站的头信息

      --nolog 控制不显示日志信息

      --logfile==FILE 存储日志文字信息

      --spider=SPIDER 控制使用哪个爬虫

      --loglevel=LEVEL控制日志级别

        日志等级常见值:

          CRITICAL   发生严重的错误

          ERROR      发生了必须立即处理的错误

          WARNING        出现一些警告信息

          INFO                输出一些提示信息

          DEBUG            输出一些调试信息,常用于开发阶段

    (2)runspider命令

      可以实现不依托scrapy的爬虫项目,直接运行一个爬虫文件

      该命令还没有理解,没看到parse()函数的打印信息

    (3)setting命令

      查看scrapy对应的配置信息,如果在项目目录内使用,查看的是对应项目的配置信息,如果在项目外使用查看的是scrapy默认配置信息

    (4)shell命令

      shell命令可以启动scrapy的交互终端,scrapy的交互终端经常在开发以及跳水的时候用到,使用scrapy的交互终端可以实现在不启动scrapy爬虫的情况下,对网站响应进行调试

      

      可以看到在执行命令后会出现可以使用的scarpy对象及快捷命令

    (5)startproject命令

      用于创建项目

      scrapy startproject firstspider [parm]

    (6)version命令

      通过version命令可以直接显示scrapy的版本相关信息

    (7)view命令

      实现下载某个网页并用浏览器查看的功能

    scrapy项目命令

    (1)bench命令

      使用bench命令可以测试本地硬件的性能,当我们允许scrapy bench的时候,会创建一个本地服务器并且会以最大的速度爬行,再次为了测试本地硬件的性能,避免过多的因素的影响,所有仅进行连接跟进,不进行内容的处理

      单纯就硬件性能来说,显示每分钟大约能爬2400个网页,这是一个参考标准,在实际运行爬虫项目的时候,会由于各种因素导致速度不同,一般来说,可以根据实际运行的速度与该参考速度进行对比结果,从而对爬虫项目进行优化与改进

    (2)genspider命令

      创建爬虫文件,可以使用该命令的-l参数来查看当前可以使用的爬虫模板

      

      使用-t可以基于其中任意一个爬虫模板来生成一个爬虫文件

      

      这样会在example/spiders/country_test目录下生成country_test.py文件

      

    (3)check命令

      在scrapy中使用check命令实现对某个爬虫文件进行合同(contract)检查

      

    (4)crawl命令

      启动某个爬虫

      scrapy crawl country_test --loglevel=DEBUG

    (5)list命令

      列出当前可以使用的爬虫文件

    (6)edit命令

      直接打开对应编辑器对爬虫文件进行编辑

  • 相关阅读:
    Python--文件操作
    Python--数据类型整理
    u-boot之NAND启动与NOR启动的区别
    u-boot之make all执行过程分析
    编译过程和符号表重定位问题、静态和动态链接
    u-boot之make <board_name>_config执行过程分析
    u-boot之ARM920T的start.S分析
    在使用Myeclipse时,用Tomcat添加部署项目的时候报错,或启动tomcat报错
    关于JDK,tomcat,eclipse的配置
    我的博客
  • 原文地址:https://www.cnblogs.com/xiaobingqianrui/p/8540269.html
Copyright © 2011-2022 走看看