zoukankan      html  css  js  c++  java
  • SmR 通用信息采集系统(新闻小偷)

    SmR 通用信息采集系统(新闻小偷) 

        SmR beta1(全称:SoFia Message Request)通用Web信息获取系统,该系统目前售价RMB1000.00

      1、基本功能: 

    1.1采集规则设置 
      添加项目智能化,实现了自动在后台对规则进行转换,从而避免书写复杂的正则表达式。


      1.2数据采集
      对预定的项目进行采集,可以分两种方式进行:快速采集和稳定采集;快速采集不预览,直接采集,四个小时可以采集10000条数据左右,稳定采集会在采集的同时浏览到新闻的内容,速度要慢一些。
      
      1.3过滤设置 
      设置额外的过滤和替换操作,设置分为普通替换和高级替换,普通替换可以将简单的内容替换成自己的内容,高级替换通过正则表达式,将新闻中那些复杂的冗余的内容替换掉。

      1.4历史记录 
      对采集过的内容保存为历史记录,避免重复和消耗资源。

      2、特色功能:

      2.1分类管理
      对本地分类进行管理,可以满足多个来源到不同分类的需求。同时,每个分类下载的文件可以放到各自定义好的目录,便于不同位置的发布。克服了目前许多缺陷。
      2.2数据审核 
      可以部分和完全选择是否发布采集数据。
      2.3数据导出 
      可以通过简单的填写数据库名称,选择需要导入的表就能完成导出,操作异常简单。
      2.4数据维护 

      3、使用帮助 
      参见系统中“使用帮助”页面。

  • 相关阅读:
    Python3 从零单排10_xml&configparser
    Python3 从零单排9_json&pickle&shelve
    Python3 从零单排7_模块&os&sys
    Python3 从零单排6_装饰器&生成器&迭代器
    Python3 从零单排5_内置函数
    python3 从零单排4_函数进阶
    Python3 从零单排2_文件读写&集合
    查看innodb表空间
    如何从innodb的数据字典里恢复表结构
    innodb double write buffer
  • 原文地址:https://www.cnblogs.com/see7di/p/2240168.html
Copyright © 2011-2022 走看看