zoukankan      html  css  js  c++  java
  • scrapy概述。

    scrapy框架:

       下载页面;解析;并发,深度。

     

    scrapy engine:相当于while循环,调用调度器的url。

    scheduler(调度器):所以的url存储。

    在实际中,只需要编写spiders即可。

     使用scrapy:指定初始的url;

       解析器响应内容

         -给调度器

         -给item,pipeline,用于格式化,持久化。(相当于导出数据)

    例子:

      在cmd中,scrapy startproject day5_21

           cd day5_21

           scrapy genspider chouti chouti.com

           打开chouti.py进行编辑,

           

      scrapy crawl chouti --nolog(scrapy -help)

      没有运行出结果。

  • 相关阅读:
    javascript 对象只读
    异步IO
    模板
    Web框架
    WSGI接口
    web开发发展历程
    python函数中的参数类型
    学习网址
    python inspect模块
    详解python的装饰器decorator
  • 原文地址:https://www.cnblogs.com/lxm-001/p/10900221.html
Copyright © 2011-2022 走看看