zoukankan      html  css  js  c++  java
  • NETSpider 网络蜘蛛采集工具

    NETSpider网站数据采集软件是一款基于.Net平台的开源软件。
    软件部分功能是基本Soukey软件进行开发的.这个版本采用VS2010+.NET3.5进行开发的.
    NETSpider采摘当前提供的主要功能如下:

    1. 多任务多线程数据采集,支持POST方式(待定);
    2. 可采集Ajax页面;
    3. 支持Cookie,支持手工登录采集数据;
    4. 支持采集事务;
    5. 支持数据自动及手工导出,导出格式为:文本、Excel、Access、MSSql、Mysql等;
    6. 支持在线发布数据;
    7. 支持导航网址的采集,导航深度不限;
    8. 支持自动翻页;
    9. 支持文件下载,可以采集图片、Flash及其他文件;
    10. 支持采集结果数据的加工,包括替换、附前缀后缀、截取等操作,支持正则;
    11. 采集网址定义不仅支持基本参数定义,也可外接字典数据作为网址参数,进行数据采集;
    12. 支持一个任务多实例运行;
    13. 提供计划任务,计划任务支持NETSpider采集任务、外部可执行文件任务、数据库存储过程任务(还在开发中);
    14. 计划任务执行周期支持每天、每周及自定义运行间隔;最小单位为:半小时;
    15. 支持任务触发器,即可在采集任务完成后,自动触发执行其他任务(包括可执行文件或存储过程)。
    16. 完善的日志功能:系统日志、任务执行日志、出错日志等等;

    17. 系统提供MINI浏览器可用于捕获Cookie或POST数据;


    NETSpider采集器并不限制您是否商用此软件,源码完全开放,

    ===================以下为更新内容===================================

    1. NETSpider于2014年10月1日开放

     

    相关源码下载:http://git.oschina.net/kingkoo1985/NETSpider/

    1.目前这个版本还有很多的验证未做处理,没有时间(花了两周的样子写成这样子),所以添加的时候请按规定填写数据

    2.还有部分功能未实现.等有空我会继续完善的

  • 相关阅读:
    MVP模式与MVVM模式
    webpack的配置处理
    leetcode 287 Find the Duplicate Number
    leetcode 152 Maximum Product Subarray
    leetcode 76 Minimum Window Substring
    感知器算法初探
    leetcode 179 Largest Number
    leetcode 33 Search in Rotated Sorted Array
    leetcode 334 Increasing Triplet Subsequence
    朴素贝叶斯分类器初探
  • 原文地址:https://www.cnblogs.com/bjgua/p/5848977.html
Copyright © 2011-2022 走看看