zoukankan      html  css  js  c++  java
  • 爬虫-scrapy框架详解(17)

    Scrapy Engine:
    负责组件之间数据的流转,当某个动作发生时触发事件
     
    Scheduler:
    接收requests,并把他们入队,以便后续的调度
     
    Downloader:
    负责抓取网页,并传送给引擎,之后抓取结果将传给spider
     
    Spiders:
    用户编写的可定制化的部分,负责解析response,产生items和URL
     
    Item Pipeline:
    负责处理item,典型的用途:清洗、验证、持久化
     
    Downloader middlewares:
    位于引擎和下载器之间的一个钩子,处理传送到下载器的requests和传送到引擎的response
     
    Spider middlewares:
    位于引擎和抓取器之间的一个钩子,处理抓取器的输入和输出
    Scrapy中的数据流由执行引擎控制,其过程如下:
      引擎打开一个网站(open a domain),找到处理该网站的Spider并向该spider请求第一个要爬取的URL(s)。
      引擎从Spider中获取到第一个要爬取的URL并在调度器(Scheduler)以Request调度。
      引擎向调度器请求下一个要爬取的URL。
      调度器返回下一个要爬取的URL给引擎,引擎将URL通过下载中间件(请求(request)方向)转发给下载器(Downloader)。
      一旦页面下载完毕,下载器生成一个该页面的Response,并将其通过下载中间件(返回(response)方向)发送给引擎。
      引擎从下载器中接收到Response并通过Spider中间件(输入方向)发送给Spider处理。
      Spider处理Response并返回爬取到的Item及(跟进的)新的Request给引擎。
      引擎将(Spider返回的)爬取到的Item给Item Pipeline,将(Spider返回的)Request给调度器。
     (从第二步)重复直到调度器中没有更多地request,引擎关闭该网站。
     

    好好学习,天天向上
  • 相关阅读:
    亚马逊EMR学习网站
    python实现redis三种cas事务操作
    【转】Jython简单入门
    【转】Android 收集已发布程序的崩溃信息
    【转】Android 避免APP启动闪黑屏(Theme和Style)
    【转】Android内存机制分析2——分析APP内存使用情况
    【转】Android内存机制分析1——了解Android堆和栈
    【转】JAVA Socket用法详解
    【转】JAVA 网络编程
    Android 无法Bind Service
  • 原文地址:https://www.cnblogs.com/topass123/p/13357491.html
Copyright © 2011-2022 走看看