zoukankan      html  css  js  c++  java
  • 话单数据采集简单了解

    话单数据采集的要求

        1.支持定时从其它系统采集话单文件。采集协议需要支持(FTPSSH FTP)

        2.采集周期支持可配置、默认为5分钟;

        3.采集后需要将服务器上的话单文件删除或者备份,避免重复采集;

        4.支持采集指定类型的话单文件,类型及文件名前缀可配置;

        5.支持断网后自动重连;

        6.支持配置多个采集点;

        7.支持脱机采集;

        8.采集的文件类型有二进制码文件,ASCII文件,有话单类型,账单类型;

        9.采集时先生成临时文件, 需确认采集文件是否完整,采集完成之后改为正式名称; 如果采集异常,下次需要重新采集;

    实现方式:

         1.简单的FTP方式,FTP远程机器,得到远程机器目录的所有文件,并且每个文件对应的大小,然后根据这些文件名,一个个GET到本地。获取本地文件大小,与之前获取的大小进行比较,判断采集的文件是否完整。获取文件的序列号,与之前记录的序列号进行比较,看文件是否跳号。并且把采集的信息记录到日志表,方便查询。

         2.先获取远程的文件列表信息,包括有几个文件,每个文件大小等信息,然后根据这些信息进行FTP文件,后面逻辑与第一点一样。

        3.先发一个采集的请求给远程机器,远程机器应答后,如果可以采集,返回采集的相关信息,进行采集处理

        4.本地机器数据库存放有需要采集的文件,已经序列号,大小等信息,根据这些信息,直接采集。

    性能要求:

         采集点至少支撑20网元。一分钟采集文件数要达到500.

  • 相关阅读:
    VS批处理命令使用
    python实现域账号登陆
    Sql Server 优化技巧
    Windows 2012 R2 安装net4.6.1
    Resharper报“Possible multiple enumeration of IEnumerable”
    京东模拟点击
    使用常规方法爬取猫眼电影
    关于断点调试
    看网络开发实战书笔记
    scrapy的request的meta参数是什么意思?
  • 原文地址:https://www.cnblogs.com/keanuyaoo/p/3318115.html
Copyright © 2011-2022 走看看