zoukankan      html  css  js  c++  java
  • Heritrix个性化设置抓取目标

      本文是Heritrix的使用的高级篇,针对对Heritrix已经能够运行的码农朋友们!

    我们在抓取网页的时候,网页的链接中往往会包含有js、css、图片、视频等文件,第一次执行抓取任务的时候,许多农民朋友们可能会发现抓取速度令人着急,可能是由于抓取了太多的不必要的数据文件,尤其是视频文件,少则几十兆,多则上百兆,这严重影响了我们的抓取的速度,还有一些缓存文件,配置文件等等。

      那么如何才能做到只抓取html网页呢?(这里暂且不讨论抓取抓取指定域名的html网页,在之后的文章中可能会列出来!)

    1、Modules——>Extractor

    由于我们只对html文件中的链接感兴趣,所以去除了以下三个extractor。

    ExtractorCSS

    ExtractorJS

    ExtractorSWF

    修改前:

    修改后:

    2、Submodules——>midfetch-decide-rules

    添加org.archive.crawler.deciderules.FilterDecideRulemidfetch-decide-rules

    添加org.archive.crawler.filter.ContentTypeRegExpFilterorg.archive.crawler.deciderules.DecidingFilter

    然后添加org.archive.crawler.deciderules.FetchStatusDecideRule到DecidingFilter

    修改前:

    修改后:

    3、Setting——>midfetch-decide-rules

    修改 regexp: 的值为“text/html*”【没有引号】

    修改target-status的值为200

    修改后为:

    这样Heritrix就不会下载除了Content-Type为text/html并且Status Code为200之外的其他文件。

    到此,设置就基本结束了!【本方法经实践检验】

    ===========================参考网址===========================

    http://www.360doc.com/content/13/1122/14/13518188_331292907.shtml

    ===========================参考网址===========================

  • 相关阅读:
    webpack 项目接入Vite的通用方案介绍(上)
    AQS的原理及源码分析
    宝宝喂养
    Java日期时间操作基础——包含JDK1.8时间操作新特性
    ThreadLocal的正确使用与原理
    网络编程基础
    如何优雅正确地通过interrupt方法中断线程
    JavaWeb入门到实战学习笔记
    File与IO基础
    枚举基础
  • 原文地址:https://www.cnblogs.com/zhjsll/p/4260992.html
Copyright © 2011-2022 走看看