zoukankan      html  css  js  c++  java
  • JSpider(2):JSpider是什么?


    从名字可以看出,JSpider是一个用Java实现的Web Spider。JSpider官方网站这样说的:

    JSpider is: 
    •    A highly configurable and customizable Web Spider engine. 
    •    Developed under the LGPL Open Source license 
    •    In 
    100% pure Java 
    You can use it to : 
    •    Check your site for errors (internal server errors
    , 
    •    Outgoing and/or internal link checking 
    •    Analyze your site structure (creating a sitemap
    , 
    •    Download complete web sites 
    •    Any task you want
    , if you write a JSpider plugin. 

    JSpider的执行格式如下:

    jspider [URL] [ConfigName]

    URL一定要加上协议名称,如:http://,否则会报错。如果省掉ConfigName,则采用默认配置。

    JSpider的行为是由配置文件具体配置的,比如采用什么插件,结果存储方式等等都在conf\[ConfigName]\目录下设置。JSpider默认的配置种类很少,用途也不大。但是JSpider非常容易扩展,可以利用它开发强大的网页抓取与数据分析工具。要做到这些,需要对JSpider的原理有深入的了解,然后根据自己的需求开发插件,撰写配置文件。

    版权所有,欢迎转载
  • 相关阅读:
    BZOJ 2653 middle
    BZOJ 3207 花神的嘲讽计划Ⅰ
    BZOJ 3689 异或之
    BZOJ 3037 创世纪
    BZOJ [1264] [ AHOI2006]基因匹配Match
    BZOJ 2186 [Sdoi2008]沙拉公主的困惑
    BZOJ 3362 Navigation Nightmare
    BZOJ 3209 花神的数论题
    BZOJ 1411 ZJOI2009 硬币游戏
    【HDU1573】X问题
  • 原文地址:https://www.cnblogs.com/xiaotie/p/249761.html
Copyright © 2011-2022 走看看