zoukankan      html  css  js  c++  java
  • scrapy命令行

    1.help

    scrapy --help

    输出帮助信息

    2.scrapy version -v

    查看组件版本号

    3.startproject

    创建一个项目

    4.genspider

    scrapy genspider aaa aaa.com

    scrapy genspider bbb bbb.com

    1)在工程中产生一个爬虫

    2)一个工程中可以产生多个爬虫只要名字不同

    5.view

    scrapy view URL

    查看页面源码在浏览器中显示的样子

    parse

    scrapy parse URL

    在工程中使用固定的parse函数解析某个页面

    用于查看自己写的parse函数的逻辑是否正确

    6.shell(不需要具体工程)

    scrapy shell URL

    1)一个非常有用的命令,可用于调试数据、检查xpath、查看页面源码,

    等等

    2)实例:获取

    http://www.dmoz.org/Computers/Programming/Languages/Python/Books/

    中书的数量;

    路径:

    response.xpath('')

    7.runspider

    scrapy runspider 爬虫名.py -o xxx.csv

    运行爬虫

    8.bench

    scrapy bench

    执行一个基准测试:

    可用来检测scrapy是否安装完整

  • 相关阅读:
    cull/clip distance example
    Sutherland-Hodgeman多边形裁剪
    OpenCV 脸部跟踪(3)
    人脸识别中的Procruster analysis应用
    卡尔曼滤波的原理说明
    偏导数
    泊松分布E(X^2)
    抽奖概率
    卡尔曼滤波的原理说明
    卡尔曼滤波3
  • 原文地址:https://www.cnblogs.com/zhengzhe/p/7768762.html
Copyright © 2011-2022 走看看