zoukankan      html  css  js  c++  java
  • Safety Interval Upper/Lower Limit of a Delta Selection(2)

    问题背景:

       

    目前遇到了一个小case,是关于一个有Delta机制的自建数据源总是抽不上来数据。

       

       

    问题原因:

       

    BW的这种Delta机制原理是,系统中记录一个timestamp,比如20110531,这是上次抽取的日期。

    于20110601执行Delta信息包,会抽取ERSDA为20110601-20110601期间的数据。

    刚刚好,赶上处理链执行到该信息包的时间为凌晨2点左右,这就是说,6月1日的数据没有开始录入,而时间戳上显示数据已经抽过了,6月2日抽取的时候只会抽取20110602-20110602的新数据。

       

    所以我们会考虑设置安全上下限。

       

       

    上图的意思是,61日抽取的时候,会加载20110524-20110601的数据,这样数据会有重复,但是不会发生这种严重的丢数现象。

       

       

       

    上图的意思是,6月1日抽取的时候,会加载20110531-20110531的数据,这种其实是最佳的设置方式,即通过推迟时间戳,将数据创建的1天时间扣除。

       

    这个现象可以方便的从RSA7中看到,那里的timestamp显示为20110531。而6月2日抽取时,timestamp为20110601,会抽取20110601的数据。

  • 相关阅读:
    乌龟git
    CI的model层的操作
    排序算法
    linux安装教程
    linux命令Netstat
    linux压缩和解压缩
    标准库模块time,datetime
    为什么计算机时间和众多编程语言要从1970年1月1日开始算起
    模块和包的导入
    Python封装应用程序的最佳项目结构是什么?
  • 原文地址:https://www.cnblogs.com/hanmos/p/2597846.html
Copyright © 2011-2022 走看看