zoukankan      html  css  js  c++  java
  • scrapy 基本命令

    scrapy 基本命令

    > 创建项目
    
        scrapy startprojct 项目名称      | 创建项目
        scrapy genspider 爬虫名+(网页)开始地址    | 创建爬虫
        scrapy  view 爬虫名  ???       | 预览页面
        scrapy crawl 爬虫名         | 运行爬虫
    
    > 修改settings文件
    
        1、ROBOTSTXT_OBEY = False关闭表头的robots验证 ; 
        2、取消DEFAULT_REQUEST_HEADERS的注释,添加表头信息
    
    > 检查
    
        1. scrapy shell 采集地址(网址)       | 用scrapy 的 shell运行(采集),(注:默认是先能保存到本地,在本地调试)
        2. response    | 检查状态
        3. response.body.decode("utf-8")   | 取出全部代码
    
    > 开始解析
    Scrapy基本命令
  • 相关阅读:
    2019.7.28刷题统计
    2019.7.27刷题统计
    2019.7.26刷题统计
    2019.7.22刷题统计
    qdoj.xyz 6.18
    qdoj.xyz 6.17
    qdoj.xyz 6.16
    qdoj.xyz 6.15
    qdoj.xyz 6.14
    qdoj.xyz 6.13
  • 原文地址:https://www.cnblogs.com/hellangels333/p/8846012.html
Copyright © 2011-2022 走看看