zoukankan      html  css  js  c++  java
  • 话单数据采集简单了解

    话单数据采集的要求

        1.支持定时从其它系统采集话单文件。采集协议需要支持(FTPSSH FTP)

        2.采集周期支持可配置、默认为5分钟;

        3.采集后需要将服务器上的话单文件删除或者备份,避免重复采集;

        4.支持采集指定类型的话单文件,类型及文件名前缀可配置;

        5.支持断网后自动重连;

        6.支持配置多个采集点;

        7.支持脱机采集;

        8.采集的文件类型有二进制码文件,ASCII文件,有话单类型,账单类型;

        9.采集时先生成临时文件, 需确认采集文件是否完整,采集完成之后改为正式名称; 如果采集异常,下次需要重新采集;

    实现方式:

         1.简单的FTP方式,FTP远程机器,得到远程机器目录的所有文件,并且每个文件对应的大小,然后根据这些文件名,一个个GET到本地。获取本地文件大小,与之前获取的大小进行比较,判断采集的文件是否完整。获取文件的序列号,与之前记录的序列号进行比较,看文件是否跳号。并且把采集的信息记录到日志表,方便查询。

         2.先获取远程的文件列表信息,包括有几个文件,每个文件大小等信息,然后根据这些信息进行FTP文件,后面逻辑与第一点一样。

        3.先发一个采集的请求给远程机器,远程机器应答后,如果可以采集,返回采集的相关信息,进行采集处理

        4.本地机器数据库存放有需要采集的文件,已经序列号,大小等信息,根据这些信息,直接采集。

    性能要求:

         采集点至少支撑20网元。一分钟采集文件数要达到500.

  • 相关阅读:
    【洛谷P3368】 【模板】树状数组 2
    树状数组
    【codevs1519】 过路费
    【洛谷P3398】 仓鼠找sugar
    【洛谷P2912】 [USACO08OCT]牧场散步Pasture Walking
    字符串哈希函数
    【洛谷P3498】 [POI2010]KOR-Beads
    NOIp2011 选择客栈
    【洛谷P1381】单词背诵
    P3396 哈希冲突
  • 原文地址:https://www.cnblogs.com/keanuyaoo/p/3318115.html
Copyright © 2011-2022 走看看