zoukankan      html  css  js  c++  java
  • Scarpy 命令行工具

    Scarpy 命令行工具

    一、Scarpy 全局命令

      scrapy startproject project_name     (创建项目)

      scrapy crawl xx     (运行xxspider文件)

      scrapy shell http://www.scrapyd.cn    (调试网址为http:www.scrapyd.cn的网站),

      全局命令有如下几个:

    startproject
    
    genspider
    
    settings
    
    runspider
    
    shell
    
    fetch
    
    view
    
    version

    二、Scarpy 项目命令

    文件夹,按住shift,然后右键就会出现:在命令行打开

    1. crawl
    2. check
    3. list
    4. edit
    5. parse
    6. bench

    1、crawl:运行蜘蛛

    例:我们要运行name = scrapyd_cn的蜘蛛,我们可以这样:

    scrapy crawl scrapyd_cn

    2、check:检查蜘蛛

    3、list:显示有多少个蜘蛛

    这里的蜘蛛就是指spider文件夹下面xx.py文件中定义的name,你有10个py文件但是只有一个定义了蜘蛛的name,那只算一个蜘蛛,比如我们在:AoiSolas目录下运行这个命令:

    scrapy list

    得到的结果是:

    F:ScrapyProjectAoiSolas (master -> origin)
     # scrapy list
    AoiSola

    这就是它的使用方法,我们可以来看一下AoiSolas的文件结构:

  • 相关阅读:
    Centos7安装redis
    Cookie和Session的区别
    JavaWeb中的域对象
    ServletContext使用介绍
    Java Web核心组件之Servlet的使用介绍
    关于反射的杂谈
    leetcode117search-in-rotated-sorted-array
    23longest-consecutive-sequence
    leetcode24:word-ladder-ii
    leetcode25word-ladder
  • 原文地址:https://www.cnblogs.com/guozepingboke/p/10794523.html
Copyright © 2011-2022 走看看