zoukankan      html  css  js  c++  java
  • scrapy工作流程

    整个scrapy流程,我们可以用去超市取货的过程来比喻一下

    两个采购员小王和小李开着采购车,来到一个大型商场采购公司月饼。到了商场之后,小李(spider)来到商场前台,找到服务台小花(引擎)并对她说,我们需要采购六楼五仁月饼店(url)。小花说好的,我给你填一个采购单(requests),给小美(调度器)。小美收到后,说请稍等,我给你排上队了。到了之后,员工小张拿着采购单去店里把月饼给搬出来(response)交给采购员小李。采购员小李对同事小张(spider_parse),说你拆开之后,把月饼拿出来,给员工礼品盒里每个人放三份。箱子上有地址,说旁边的店也卖这种五仁月饼,你根据这个地址给我继续采购吧。

    让我们用scrapy爬取定点网站上的小说吧:

  • 相关阅读:
    C# 设计模式-状态模式
    C# 设计模式-备忘录模式
    C# 设计模式-命令模式
    本地易优安装总结
    视频自动添加字幕
    百度商桥安装
    百度统计
    模板
    百度地图API
    栅格布局的理解
  • 原文地址:https://www.cnblogs.com/chaojiyingxiong/p/9748364.html
Copyright © 2011-2022 走看看