zoukankan      html  css  js  c++  java
  • 一个小型的网页抓取系统的架构设计

    一个小型的网页抓取系统的架构设计

            

        网页抓取服务是互联网中的经常使用服务。在搜索引擎中spider(网页抓取爬虫)是必需的核心服务。搜索引擎的衡量指标“多、快、准、新”四个指标中,多、快、新都是对spider的要求。搜索引擎公司比方google、baidu都维护者自己负责的spider系统。

    当然他们的系统非常复杂,在这里我们介绍一个小型的网页抓取系统的架构,目标是高速的抓取某个或者几个指定的站点的数据。它的作用有非常多。比方做竞品分析,还有其它不可告人的J。

             以下这个小型的网页抓取系统,分成以下几个部分:

             1)网页种子文件,这个里面配置要抓取的链接是我们抓取服务的起点。

             2)链接池,链接的FIFO队列,种子的link会先入这个队列。

             3)抓取线程,从链接池中获取链接。并下载网页生成的网页数据放到网页池。

             4)网页池,网页的FIFO队列,抓取的网页都会进入到这个pool;

             5) 抽取线程是系统的核心,它负责依据配置的模板抽取网页中指定的链接与数据,将抽取到个格式化数据入到抽取线程,将抽取出来的新的链接放到链接库;

             6)调度线程,负责链接的调度策略,将选择合适的链接放到链接池队列。

    系统架构例如以下:


     

  • 相关阅读:
    小程序登录及用户信息和手机号的获取
    Node.js 获取微信JS-SDK CONFIG
    代码顺序的重要性
    七牛视频防盗链处理
    《码农翻身》读书笔记
    白夜行
    看见
    用node.js写一个jenkins发版脚本
    Node.js 使用 RSA 做加密
    七牛视频切片方案
  • 原文地址:https://www.cnblogs.com/mfrbuaa/p/5235536.html
Copyright © 2011-2022 走看看