zoukankan      html  css  js  c++  java
  • BW自定义数据源增量模式及安全间隔设置

    1,自定义数据源的增量模式有以下几种:

    (1)时戳(UTC),以标准UTC时间戳计算增量字段的取值

    (2)时戳(本地),以本地时间戳计算增量字段的取值

    以上两点,如本地时间是20170717 143000,则UTC时间为20170717 063000

    (3)日历天数,以日期字段作为增量字段

    2,安全间隔上下限设置:

    (1)安全间隔上限,

    正常情况如果不设置此值,则当前时间戳即是增量抽取的时间上限值,而设置此值时,则当前时间戳减去此处设置的时间为本次增量抽取的时间上限,如设置1小时,则最多抽取到1个小时之前保存的数据,1小时内产生的增量数据是无法抽取到的。

    (2)安全间隔下限,

    正常情况下,上一次初始化或者是增量抽取时会记录增量时间(使用RSA7可以查看上次增量的时间),此时间会作为本次增量抽取的时间下限,设置安全间隔下限的目的是将增量时间下限提前相应的时间,如设置2小时,则每次增量抽取都会重复抽取上一次增量2小时前的数据。

    如以下数据源,第一次初始化记录的时间戳如下,设置的安全间隔下限为7200秒,则下一次增量时提取的增量时间间隔为:

  • 相关阅读:
    Hive的安装和使用
    Redis 慢查询日志
    GO语言-数组
    ZooKeeper-3.3.4集群安装配置
    GO语言-基础语法:循环
    GO语言-基础语法:条件判断
    GO语言-基础语法:变量定义
    nginx限制下载速度
    Centos7下Etcd集群搭建
    浅谈spj
  • 原文地址:https://www.cnblogs.com/xmqlv20081008/p/7194546.html
Copyright © 2011-2022 走看看