zoukankan      html  css  js  c++  java
  • Scrapy框架: 基本命令

    1.创建爬虫项目

    scrapy startproject [项目名称]
    

    2.创建爬虫文件

    scrapy genspider +文件名+网址
    

    3.运行(crawl)

    scrapy crawl 爬虫名称
    
    # -o  output 输出数据到文件
    scrapy crawl [爬虫名称] -o zufang.json
    scrapy crawl [爬虫名称] -o zufang.csv
    

    4.check检查错误

    scrapy check
    

    5.list返回项目所有spider

    scrapy list
    

    6.view 存储、打开网页

    scrapy view http://www.baidu.com
    

    7.scrapy shell, 进入终端

    scrapy shell https://www.baidu.com
    

    8.scrapy runspider

    scrapy runspider zufang_spider.py
    
  • 相关阅读:
    7-11
    7-9
    7-8
    7-7
    7-6
    7-5
    7-4
    7-3
    第08次:升级《陋习手记》完善主从UI
    第07次:升级《陋习手记》显示多条数据
  • 原文地址:https://www.cnblogs.com/hankleo/p/11824244.html
Copyright © 2011-2022 走看看